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1 Introduction 



La theorie des representations et l'analyse harmonique constituent un do- 
maine important des mathematiques, qui est relie a de nombreux autres do- 
maines des mathematiques et de la physique, comme la theorie des nombres, 
les formes automorphes, la geometrie algebrique et la geometrie differentielle, 
l'analyse fonctionnelle, la mecanique quantique, etc. 

Soit G un groupe de Lie. Du point de vue de la theorie des representations, 
deux questions ont suscite l'interet de nombreux mathematiciens. 

La premiere concerne la description du dual unitaire G de G, i.e. de l'en- 
semble des classes d'equivalence de representations unitaires irreductibles de 
G. II s'agit de parametrer G a l'aide d'un ensemble de parametres, constitue 
d'objets geometriques naturellement lies a G, et de donner pour chacun de ces 
parametres une construction d'un representant de la classe d'equivalence de 
representations associee. 

La deuxieme, qui releve de l'analyse harmonique, concerne la decomposition 
d'une representation unitaire de G en «somme» de representations unitaires 
irreductibles. 

En fait, on sait que ces deux questions ne peuvent avoir de reponse satisfai- 
sante que si le groupe G est de type I. C'est le cas des groupes algebriques reels 
et done des groupes que nous rencontrerons dans ce travail. 

Un cas particulier de la deuxieme question et auquel nous nous interessons ici 
est connu sous le nom de «branching problem» ou «probleme de branchement». 
Soit G un groupe algebrique reel et H C G un sous-groupe algebrique. Soit 
7r G G. Puisque H est de type I, la restriction de it a H que Ton note tt\h peut 
se decomposer de la maniere (unique) suivante 



fi^ est une mesure borelienne sur H (par rapport a la topologie de Fell) 
m T : H — > N U {00} est une fonction mesurable, appelee fonction de mul- 
tiplicity. Apporter une reponse au probleme de branchement consiste a donner 
une description explicite de la mesure et de la fonction de multiplicity m t . 

En relation avec le probleme de branchement, T. Kobayashi a introduit dans 
[15] le concept de H -admissibilite : on dit que tt\h est H -admissible, si le 
support de la mesure est discret et m 7r (r) < 00 pour tout r € H. Autrement 
dit 7r|# est 7J-admissible si et seulement si Tt\ H = (Bieiki.Ti ou / est un ensemble 
denombrable, fcj £ N et les r, S H sont deux a deux differentes. 

II est interessant d'etudier les cas ou une representation unitaire irreductible 
d'un groupe est admissible pour un de ses sous-groupes et de resoudre le pro- 
bleme de branchement correspondant. 

Revenons un moment a la question de la construction de representations 
unitaires irreductibles d'un groupe de Lie. 

La methode des orbites permet de construire «beaucoup» de telles represen- 
tations pour un groupe de Lie G de type I. Initiee par Kirillov dans sa these, elle 
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a ete developpee par de nombreux mathematiciens, parmi lesquels Auslander- 
Kostant, pour les groupes resolubles, Duflo pour les groupes reductifs et Duflo 
pour les groupes de Lie generaux. 

Soit G un groupe de Lie de type I d'algebre de Lie g. Duflo etablit une 
correspondance entre l'ensemble des G-orbites dans g*, l'espace vectoriel dual 
de g, qui sont admissibles et bien polarisables et G. Cette correspondance as- 
socie a chaque orbite admissible et bien polarisable un ensemble d'elements de 
G parametre par un ensemble de donnees d'admissibilite attache a l'orbite et 
elle est injective, en ce sens que les ensembles associes a deux orbites distinctes 
sont disjoints. Lorsque le groupe G est nilpotent, on retrouve la correspondance 
bijective etablie par Kirillov dans sa these entre l'ensemble des orbites coad- 
jointes de G et son dual unitaire. Lorsque G est resoluble simplement connexe, 
on retrouve les resultats d'Auslander-Kostant (a une translation pres dans la 
parametrisation) : dans ce cas, la methode permet encore de decrire complete- 
ment le dual unitaire. Par contre, dans le cas general on n'obtient pas tout le 
dual unitaire de G, mais une partie suffisamment «grosse» pour supporter la 
mesure de Plancherel. Nous donnerons plus de details, pour ce qui concerne les 
groupes algebriques, dans le chapitre 2. 

La question qui se pose alors est de savoir si Ton peut apporter une reponse 
au problems de branchement dans le cadre de la methode des orbites. C'est le 
cas pour les groupes resolubles exponentiels comme le montrent les travaux de 
Lipsman ([22]) et Fujiwara ([10]). Cependant, dans cette situation et pour les 
series discretes les cas de ff-admissibilite sont rares (voir Kouki [18]). 

Lorsque G est un groupe de Lie compact, toute representation unitaire ir- 
reductible de G est H admissible. L'etude du probleme de branchement dans 
cette situation a conduit a un ensemble de travaux autour de la conjecture «La 
quantification commute avec la reduction;*-, due a Guillemin et Sternberg, que 
nous presentons brievement ci-dessous. 

Soit (M, ui, K, i>) un A-espace hamiltonien, ou (M, w) est une variete sym- 
plectique compacte, K est un groupe de Lie compact d'algebre de Lie {!, et $ 
designe l'application moment. On se donne un fibre de Kostant-Souriau C sur 
M qui est un fibre en droites hermitien A-equivariant de forme courbure — iu. 
On peut alors construire une quantification notee Q (M) qui est l'indice equi- 
variant d'un operateur differentiel elliptique _ftT-equivariant associe aux objets 
consideres et ainsi une representation formelle de K, cela signifie que Q C (M) 
s'ecrit S rS ^n r T, avec les n T g Z et tous nuls sauf un nombre fini. De plus si K 
est trivial ou agit trivialement (sur M et £), alors Q C (M) s'interprete comme 
un nombre. Fixons un tore maximal T (d'algebre de Lie t) de K et un ensemble 
de racines positives de t dans £ : on peut done identifier K a l'ensemble des 
plus hauts poids dans t* C i* (on identifie t* a l'orthogonal du sous-espace [t, {] 
de t). Soit fi un plus haut poids, et = K./i l'orbite coadjointe de \i sous K 
dans t*, alors la variete reduite associee ^^(O^/K est naturellement munie 
d'un fibre de Kostant-Souriau induit par celui considere . Soit r M g K la repre- 
sentation de plus haut poids \i. La conjecture de Guillemin-Sternberg dit que le 
calcul de la multiplicite n T , se ramene a quantifier ^~ 1 (O ll )/K. Plus precise- 
ment le nombre n T est exactement le resultat de la quantification de la variete 
reduite $~ 1 (C M )/A" et du fibre associe, tout du moins si la variete reduite est 
une variete lisse ou un «orbifold». Leur conjecture qui est connue sous le slogan : 



5 



"La quantification commute avec la reduction", est resolue par Meinrenken et 
Sjamaar. 

II existe une autre formulation de cette conjecture dans le cadre voisin de la 
quantification Spin c . Disons simplement que dans ce cadre, le fibre de Kostant- 
Souriau est remplace par L, son «translate» par la racine carree du fibre en 
droite defini par le determinant d'une structure spinorielle complexe sur la va- 
riete M. Le resultat de la quantification est alors note Qs P - lu {M). On reprend les 
notations precedentes concernant le groupe compact K . Soit A + un ensemble 
de racines positives de tc dans 4c , 6 la demi-somme des elements de A + et 
fj, g t* un poids dominant. Alors la structure spinorielle et le fibre L sur M 
induisent des donnees du meme type sur la variete reduite $ _ (0^s)/K. Ici 
encore, la multiplicity de la representation r M dans Q^ p - ln (M) est donnee par la 
quantification Spin c de la variete reduite et du fibre associe. 

Cette conjecture a influence des recherches de relations entre representations 
d'un groupe compact K operant de maniere hamiltonienne sur une variete sym- 
plectique M pas forcement compacte et l'application moment. Tian-Zhang et 
Paradan ont obtenu des demonstrations directes pour le cas general qui s'adapte 
a certaines situations nouvelles : varietes a bord, varietes non compactes (dans 
la situation ou l'application moment est propre) etc. Notamment Paradan ([24, 
25, 26]) a traite le cas ou M est une orbite coadjointe associee a une serie dis- 
crete d'un groupe de Lie reductif G (pas forcement compact), et K C G est un 
sous-groupe compact maximal. Dans ce cas M n'est pas forcement compacte, 
cependant Paradan a montre que dans cette situation, la quantification com- 
mute egalement avec la reduction. II a aussi reussi a reinterpreter la formule 
de Blattner (une identite combinatoire) dans le cadre de la geometrie hamilto- 
nienne. 

Inspire par les divers travaux cites dessus, Duflo a formule une conjecture 
concernant le probleme de branchement pour les series discretes d'un groupe 
algebrique reel. Pour des raisons de commodite, nous allons l'enoncer dans le 
cas d'un groupe algebrique reductif connexe. 

Soit done G un groupe de Lie reel connexe algebrique reductif d'algebre de 
Lie g, et H C G un sous-groupe algebrique d'algebre de Lie t). Soit g* (resp. 
t)*) le dual lineaire de g (resp. f)). Supposons que ir est une serie discrete de 
G. II est done bien connu que la serie discrete it correspond a une (unique) 
G-orbite coadjointe "admissible et fortement reguliere" dans g* (au sens 
de Duflo). Notons done l'orbite liee a it. Munie de la structure symplectique 
de Kirillov-Kostant-Souriau u), (O v ,u>) est une variete symplectique et comme 
le stabilisateur d'un point de l'orbite O x est un tore, elle admet un unique fibre 
de Kostant-Souriau . Le sous-groupe H agit dans O w par Faction coadjointe, de 
sorte que (O n ,u>, H, p) devient un iJ-espace hamiltonien, l'application moment 
associee etant la projection naturelle p de dans [)*. 

Maintenant, on enonce la conjecture de Duflo (on garde les notations et 
hypotheses du paragraphe precedent) : 

La conjecture de Duflo : Notons f)J r la reunion des ii-orbites coadjointes 
fortement regulieres dans ()*. Alors : 

(i) Pour que la restriction 7r a H, tt\h, soit iJ-admissible, il faut et il suffit 
que la projection (e'est-a-dire l'application moment de (O„,0J,H,p) ) 

p : O w — >■ v(O n ) C [,* 
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/—►/lb 

soit faiblement propre. 

(ii) Si tt\h est inadmissible, toute Tj qui figure dans la decomposition tt\ h = 
^fcj.Ti correspond a une (unique) 77-orbite coadjointe admissible et fortement 
reguliere f2 Ti de f)*(au sens de Duflo), avec Ti contenue dans p(C 7r ). 

(iii) Toujours dans le cas ou it est ii-admissible, les multiplicity fcj doivent 
pouvoir s'exprimer a l'aide de la quantification de la variete reduite correspon- 
dante. Autrement dit le slogan quantification commute avec reduction 
reste valable dans ce cadre. 

Ici la notion « faiblement propre » signifie que l'image reciproque de tout 
compact contenu dans p(07r) H b*f r par la projection p est compact. Dans cet 
article, on utilisera aussi la notion classique « propre sur l'image » selon 
laquelle l'image reciproque par la projection p de tout compact contenu dans 
p(C,r) est un compact. Pour simplifier, dans cet article, nous dirons "propre" 
au lieu de « propre sur l'image ». II est evident que si la projection est propre, 
elle est aussi faiblement propre, alors que l'inverse est generalement faux. 

Dans ce travail, on s'interesse au cas ou G = SU(2, 1) et H est un sous- 
groupe de Borel ou un sous-groupe exponentiel maximal de G. 
Maintenant, on enonce les principaux resultats de cet article. 

Done soit G = SU (2,1) d'algebre de Lie q, B = MAN un sous-groupe 
de Borel (de G) d'algebre de Lie b et Si = AN le sous-groupe exponentiel 
maximal associe d'algebre de Lie b\. Soit tt une serie discrete de G et la G- 
orbite coadjointe qui lui est associee par Duflo. Soit p : O n — > p(07r) C b* (resp. 
p x : Ott — ► Pi(Ctt) C bl), la projection naturelle de C Q* dans b* (resp. b*). 
Done comme explique plus haut, muni de la structure symplectique de Kirillov- 
Kostant-Souriau w, (0^,uj) est une variete symplectique. B (resp. B\) agit dans 
Ok par Taction coadjointe, de sorte que (O n ,u, B,p) (resp. (0^,0!, Bi,p x )) 
devient un espace hamiltonien, ou l'application moment associee est p (resp. 
Pi). De plus, (0 % ,u>) admet un unique fibre de Kirillov-Kostant-Souriau (car on 
l'a deja explique, le stabilisateur d'un point de l'orbite est un tore). 

On obtient les resultats suivants : 

1) (Theoreme 5.4) La projection (l'application moment pour (0^,lj, B\, p-J) 
P! : On — > p 1 (C 7r ) C b\ est propre (sur l'image) ou faiblement propre, si et 
seulement si la serie discrete it est holomorphe ou anti-holomorphe. 

2) (Theoreme 5.5) La projection (l'application moment pour (O v , u>, B, p)) 
p : O n — > p(07r) C b* est faiblement propre. De plus elle est propre (sur 
l'image) si et seulement si n est holomorphe ou anti-holomorphe. 

3) (Theoreme 6.3) Si 7r est holomorphe ou anti-holomorphe, tt\b 1 (resp. tt\b) 
est i?i-admissible (resp. i3-admissible), et on a une decomposition explicite de 
tt\b 1 (resp. tt\b)- Le theoreme 6.3 enonce, dans le cas particulier du groupe 
SU(2, 1), un resultat du a Rossi- Vergne ([29]) dans le cas general d'un groupe 
reductif connexe admettant des series discretes holomorphes. 

4) Ainsi, lorsque it est holomorphe (ou anti-holomorphe), d'apres le theoreme 
5.3 (resp. la proposition 6.5) qui decrit les £?i-orbites (resp. i?-orbite) coadjointes 
fortement regulieres et admissibles (au sens de Duflo) contenues dans p 1 (C 7r ) 
(resp. p(Ott)), les assertions (i) et (ii) de la conjecture de Duflo sont verifiees 
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pour (G, tt,Bi) et (G,tt,B). On constate alors que, parmi les series dicretes de 
B associees a une orbite contenue dans p(C 7r ), seulement une sur trois intervient 
dans la decomposition tt\b- 

5) (Theoreme 6.8) Soit it une serie discrete ni holomorphe ni anti-holomorphe. 
En utilisant la realisation de it dans un espace de L 2 -cohomologie due a Nara- 
simhan-Okamoto ([23]) ainsi que les resultats de Hersant ([11]), on obtient un 
encadrement pour les multiplicites des representations unitaires irreductibles de 
B dans t:\b ■ la multiplicite n T de chaque t S B (le dual unitaire de B) est egale 
a la dimension du sous-espace des solutions de carre integrable sur ]0, +oo[ (par 
rapport a la mesure de Haar dt/t) d'un systeme differentiel lineaire ordinaire 
ayant deux points singuliers (en et +oo), dont un de deuxieme espece. En 
etudiant le comportement asymptotique de ses solutions, on obtient une borne 
inferieure et une borne superieure pour toutes les multiplicites. Ceci nous per- 
met de montrer que tt\b est inadmissible et tt\b 1 n'est pas i?i-admissible. Done 
d'apres 1) (le theoreme 5.4), les assertions (i) et (ii) de la conjecture de Duflo 
sont verifiees pour (G,7r, £?i) avec tt ni holomorphe ni anti-holomorphe. Done 
d'apres 4), elles sont verifiees pour (G,ir,Bi) et pour toute serie discrete ir. De 
plus, cette methode permet de retrouver les resultats de 3) obtenus dans le cas 
des series discretes holomorphes. 

II est a noter que le fait que les series discretes ni holomorphes ni anti- 
holomorphes ne sont pas Bi-admissibles a ete demontre pour SU(n, 1) par 
Rosenberg- Vergne ([28]), egalement en utilisant leur realisation dans un espace 
de L 2 -cohomologie. 

6) (Theoreme 6.10) En combinant les travaux de Fabec ([9]) et ceux de 
Kraljevic ([19, 20]) sur les series principales de SU{2, 1) avec le theoreme 6.8 et 
le theoreme 6.3 (du a Rossi et Vergne), on parvient a decomposer explicitement 
tt\b pour 7r ni holomorphe ni anti-holomorphe. 

7) En comparant le theoreme 6.10 avec la proposition 6.11 (qui decrit les B- 
orbites coadjointes fortement regulieres et admissibles contenues dans p(C 7r )), 
on montre que les assertions (i) et (ii) de la conjecture de Duflo sont verifiees 
pour (G, 7T, B). Ainsi, d'apres 4) et 5), les assertions (i) et (ii) de la conjecture de 
Duflo sont verifiees pour (G,tt,B) et (G, w, Bi) pour toute serie discrete ir. On 
constate egalement que, parmi les series dicretes associees a une orbite contenue 
dans p(C 7r ), seulement une sur trois intervient dans la decomposition tt\b- 

8) (Proposition 6.12) Puisque Ton obtient une decomposition explicite de tt\b 
pour 7r ni holomorphe ni anti-holomorphe, en comparant le theoreme 6.8 et le 
theoreme 6.10, on peut trouver la dimension exacte du sous-espace des solutions 
de carre integrable de chaque systeme differentiel concerne que l'on evoque dans 
4). Ce resultat semble difficile a obtcnir par des methodes «directes». 

9) (Chapitre 7) En modifiant certains parametres, on montre que dans notre 
cas les assertions (i) et (ii) de la conjecture de Duflo sont encore verifiees si on uti- 
lise la parametrisation de Blattner pour les series discretes et celle d'Auslander- 
Kostant pour les representations unitaires irreductibles de B\ et B. 

10) (Propositions 8.1, 8.2 et 8.3) On montre que les varietes reduites pour 
l'espace hamiltonien (0^, w, B, p) sont des points. On verifie qu'une represen- 
tation de B associee a une orbite contenue dans p(0,r) apparait dans tx\b si 
et seulement son caractere central coincide avec celui de 7r (B et G ont meme 
centre). 

On interprete ce resultat dans le cadre de la quantification geometrique et 
on montre qu'il est l'analogue de celui demontre par Paradan dans ([26], section 
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2.4 "Quantization of points", Theorem 2.16), dans lequel il considere un groupe 
de Lie compact muni d'une action hamiltonienne sur une variete symplectique 
avec application moment propre et calcule la quantification de la variete reduite 
lorsqu'elle est reduite a un point. 

Ceci montre que l'assertion (iii) de la conjecture de Duflo est verifiee et ex- 
plique pourquoi seulement une serie discrete de B sur trois parmi celles associees 
a une orbite contenue dans p(07r) intervient dans la decomposition tt\b- 

11) (Propositions 8.1 et 8.4) Lorsque tt\b 1 est £?i-admissible, on montre que 
la variete reduite est une sous- variete symplectique de 0^, diffeomorphe a une 
sphere de dimension 2, et que la multiplicite s'exprime egalement comme la 
quantification de cette derniere, c'est a dire comme l'integrale de sa forme vo- 
lume naturelle. Ceci montre que l'assertion (iii) de la conjecture de Duflo est 
egalement verifiee dans ce cas. 
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ont joue un role tres important dans ce travail, et avec qui j'ai eu des discussions 
importantes. Je voudrais aussi remercier autres membres du jury de ma these, 
D. Vogan et M. Vergne d'avoir fait certaines remarques eclairantes. Je remercie 
C. Sabbah pour son aide determinante dans l'etude des equations differentielles 
ordinaires. Enfin, je remercie T. Kobayashi pour des discussions bien utiles. 
Durant la preparation de ma these, j'ai beneficie d'une allocation de recherche 
du ministere frangais de l'enseignement superieur et de la recherche. 

Finalement, un grand merci a B. Krotz pour me soutenir scientifiquement 
et moralement apres ma these. 
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2 La methode des orbites et la theorie de Duflo 



Dans ce chapitre, nous allons rappeler quelques elements dont nous aurons 
besoin de la construction de Duflo de representations unitaires irreductibles. 

Orbites fortement regulieres : 

Rappelons qu'un groupe de Lie presque algebrique est la donnee d'un triplet 
{G,j, G) ou G est un groupe algebrique affine defini sur K, G est un groupe de 
Lie et j est un morphisme de groupes de Lie de G dans le groupe des points 
reels Gr de G dont le noyau est discret central dans G et dont l'image est un 
sous- groupe ouvert de Gr dense dans G pour la topologie de Zariski (voir [7], 
p. 199). On notera plus simplement G le groupe presque algebrique (G,j,G). 

Soit G un groupe de Lie presque algebrique sur K d'algebre de Lie g. On dit 
qu'une forme lineaire /eg* est reguliere si son orbite coadjointe G.f est de 
dimension maximale ou si, de maniere equivalente, son stabilisateur G(f) dans 
G est de dimension minimale. Supposons que / g g* est une forme lineaire re- 
guliere. Alors, il est bien connu que l'algebre de Lie g(/) de G(f) est algebrique 
abelienne. On designe par s(/) son unique facteur reductif qui est l'ensemble 
des X <E g(f) pour lesquels a,dX est semi-simple. On dit que / est fortement 
reguliere, si s(f) est de dimension maximale lorsque / parcourt l'ensemble des 
formes regulieres. II est clair que / est reguliere (fortement reguliere), si et seule- 
ment s'il en est de meme pour tous les elements de son orbite coadjointe. Nous 
dirons qu'un orbite est reguliere (resp. fortement reguliere) si c'est l'orbite du 
forme reguliere (resp. fortement reguliere). 

Formes lineaires admissibles et bien polarisables 

Soient G un groupe de Lie d'algebre de Lie g et / £ g*. Considerons la forme 
bilineaire alternee Bf sur g definie par 

B f (X,Y) = f([X,Y]), X,Yeg. 

On sait que g(/) est le noyau de Bf, de sorte que g/g(/) est un espace 
symplectique, et G(f) laisse invariant Bf. En 1972, Duflo a introduit le groupe 
G(/) fl , un revetement a deux feuillets de G(f) associe a (g,Bf). qui joue un 
role central dans la methode des orbites (pour plus de details, voir [7], p. 153 et 
suivantes) . 

Comme nous en aurons besoin plus loin, nous presentons la construction de 
ce revetement dans un cadre plus general : on se donne un espace vectoriel V 
de dimension finie sur K muni d'une forme bilineaire alternee j3 dans lequel agit 
un groupe de Lie H en laissant (3 invariante. On considere l'espace symplec- 
tique V/ker/3, le groupe symplectique Sp(V/hsr j3) et le groupe metaplectique 
Mp(V/ ker/3), revetement connexe a deux feuillets du precedent. Le revetement 
a deux feuillets de H, dit revetement metaplectique associe a (V,j3), est alors le 
produit fibre de H par Mp(V/ ker 0) au dessus de Sp(V/ ker (3) : on le note H v . 

On prolonge (3 par bilinearite complexe en une forme bilineaire alternee sur 
l'espace vectoriel complexifie Vc de V, encore notee (3. On appelle lagrangien 
complexe de Vc de V un sous-espace isotrope maximal de Vc pour /?. 

Si I C Vc est un lagrangien complexe stable sous Taction de l'algebre de Lie 
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f) de H, on pose 



pi(X) = -trX l/kcr/3 , let). 



Remarque. G(/) B n'est pas forcement connexe, meme si G(f) est connexe. 
Cependant, si G(f) est connexe, alors, G(f) s a au plus 2 composantes connexes. 

On appelle e l'element non trivial du noyau de la projection de G(f) B sur 
G(f). Notons X(f) l'ensemble des classes de representations unitaires irreduc- 
tibles r de G(f) B qui verifient les proprietes suivantes : 

T (e) = -id (1) 



la differentielle dr est un multiple de if\ g (f) (2) 

On dit que / est admissible, si X(f) est non vide. Soit r\ un caractere d'un sous- 
groupe ferme central T de G, on dit qu'un element t G X(f) est rj-admissible, 
si r|r est un multiple de n. 

Concernant l'admissibilite de /, il y a un lemme tres utile du a Duflo (voir 
[7], p. 154 Remarque 2) : 

Lemme 2.1 Supposons qu'il existe un sous-espace lagrangien complexe I C gc 
pour Bf, qui est stable par fl(/), alors, f est admissible si et seulement s'il existe 
un caractere de G(f) Q (la composante neutre de G(/) ) dont la differentielle est 

Pl+iflaif)- 

Dans [7], Duflo a introduit la notion de forme lineaire bien polarisable. Soit 
/ une forme lineaire sur g. On appelle polarisation en / une sous-algebre de Lie 
b de 0c qui s °it un sous-espace lagrangien complexe pour Bf. 

Soit b une polarisation en / et soit B le sous-groupe analytique d'algebre de 
Lie b du groupe de Lie simplement connexe d'algebre de Lie Qc. On dit que la 
polarisation b verifie la condition de Pukanszky si on a B. f = f + b 1 - (ici b^ 
designe l'orthogonal de b dans g c ). 

La forme lineaire / est dite bien polarisable si elle admet une polarisation 
resoluble et verifiant la condition de Pukanszky. 

Notons g* p C 0*, l'ensemble des formes lineaires admissibles et bien pola- 
risables. Alors on a G.g* p = g* p . Ceci nous permet de definir les orbites coad- 

jointes admissibles et bien polarisables d'une fagon evidente. Notons G, le dual 
unitaire de G. Soit / <G g* p et t e X(f). Au couple (/, r), Duflo associe une 
representation unitaire irreductible 7r/ :T de G. De plus, si f\ £ G.f, il existe un 
et un seul element T\ dans X(J\) tel que 7r/ jT = tt/ 1iT1 . Ainsi, etant donnee une 
orbite coadjointe admissible et bien polarisable O, il existe un ensemble X(CD) 
qui se met canoniquement en bijection avec X(f), pour tout / G O. On definit 
alors T a p := {(O, r) : O est admissible et bien polarisable, r G X(0)}. Alors, 
la correspondance 

T a .p > G 
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est bien definie, ou pour tout O, le point / G O une fois choisi est fixe, de sorte 
que X(0) est identifie a X(f). Duflo a montre que cette correspondance est 
injective. 

Suposons que G soit un groupe presque algebrique. Alors Duflo a montre 
que 7T/ jT est une serie discrete modulo un sous- groupe Y du centre de G si et 
seulement si G(f)/T est compact et toute serie discrete de G modulo T est 
isomorphe a une telle 7T/ )T (pour tout ceci voir [7], p. 203, theoreme 3). 

Si G est connexe reductif et / correspond a une serie discrete, alors G(f) est 
connexe et X(f) a un unique element tj qui est un caractere. Nous noterons 
simplement Tf = Tf jT . . 

II est connu que les orbites fortement regulieres sont bien polarisables. 
Pour G reductif, / est fortement reguliere si et seulement si g(f) est une sous- 
algebre de Cartan. De plus Duflo a demontre le resultat suivant : Soit G un 
groupe presque algebrique. Notons G/ r l'ensemble des classes des representa- 
tions unitaires irreductibles de G liees aux orbites fortement regulieres admis- 
sibles. Alors le complementaire de G/ r dans G est negligeable par rapport a 
la mesure de Plancherel. Done toute serie discrete it de G est liee a une orbite 
fortement reguliere admissible, puisque par rapport a la mesure de Plancherel, 
{7r} a une mesure non nulle. De plus, d'apres ce qui precede, un element de 
Gf r est une serie discrete si et seulement s'il correspond a une orbite dont le 
stabilisateur d'un point quelconque est compact. 

Nous dirons qu'un forme lineaire / G 0* est de type compact si G(f) est com- 
pact. Nous dirons qu'une orbite coadjointe est de type compact, si elle contient 
une forme lineaire de type compact. On voit done que les series discretes d'un 
groupe presque algebrique sont les representations associees par la construction 
de Duflo aux orbites fortement regulieres admissibles et de type compact. 



3 Quelques proprietes de SU (2,1) 

Dans tout ce qui suit, on note G le groupe SU(2, 1) et son algebre de Lie. 

Designons par /2,i la- matrice dans la base canonique de la forme hermitienne 
sur C 3 , (z,t) = z±ti + Z2I2 — 23^3. Alors 

G = {g G SL(3,C)\^h,i9 = - 
= { X G M 3 (C)| *XI 2 ,i + h,iX = et trX = 0} . 

Le groupe de Lie G est simple de dimension 8, son complexifie est SL(3, C). Le 
centre de G est le groupe a trois elements 

z G ={iid\e = i}. 

Notons 6 l'involution de Cartan sur G et g, telle que 0(g) = l g~ l pour g G G 
et 6(X) = — l X pour X G g. Designons par K le sous-groupe des points fixes 
de 6 dans G, par t son algebre de Lie et par p le sous-espace propre de 9 pour 
la valeur prore —1 dans g. Alors K est un sous-groupe compact maximal de G 
et on a les decompositions de Cartan de G et : 

G = ATexpp, 
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= t@p. 

Le centre de z(t) de 6 est de dimension 1. II est engendre par la matrice 




et son centralisateur dans g est t. Si Zk designe le centre de K, on a 

Z K = expRZ. 

Soit i' l'algebre derivee de t. Elle est isomorphe a su(2) : 



f = 



A 




A G su(2) 



et on a t = t' ffi Le sous-groupe analytique if' d'algebre de Lie g de G est 
le sous-groupe derive de K. II est isomorphe a SU(2) et on a 

tf' = jYg J ^ t/G S77(2)J et K = K'Z K . 



Enfin, on a 

0_ X 

*A 



X e M 2 ,i( 



Soit t la sous-algebre de Lie de g constitute des matrices diagonales. C'est 
une sous-algebre de Cartan de g contenue dans {. C'est done egalement une 
sous-algebre de Cartan de i. Designons par diag(hi, h 2 , h 3 ) la matrice diagonale 
de Ma(C) de valeurs propres hi, hi, h 3 , dans la base canonique de C 3 . Alors, on 
a 

t = { diag(ih\, ih2, ih 3 )\ hi, hi, h 3 G R et hi + hi + h 3 = 0} , 
tc = {diag(hi,h 2 , h 3 )\ h x ,h 2 , h 3 G C et hi + h 2 + h 3 = 0} . 
Le systeme des racines de tc dans gc est 

£(0c,tc)={a w |lO^Z<3}, 

Oil 

a k i(diag(hi,h 2 ,h 3 )) = h k - hi. 

Le sous-espace radiciel de g pour la racine aid est 9fcz = CEki, ou -Efc; G Ms(C) 
designe la matrice elementaire d'indice kl. La coracine de au est la matrice 
H k i = E kk - E u . Posons i? = iH 12 . Alors t' := t n t' = RH, t = t' ® z(t) et 
(H, Z) est une base de t. 

De plus, {«i2, 0:21} est l'ensemble des racines compactes et son complemen- 
taire £(flc, tc) \ {&12, a 2 i} est l'ensemble des racines non-compactes. 
/0 1\ 

Maintenant, si 5= , ct = RS est une sous-algebre abelienne 
V 1 / 

maximale de p. L'ensemble des racines A de a dans g est ±/3, ±2/3 avec /3(tS) = 
t, ieK. Les sous-espaces radiciels correspondants sont 
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Bp =RBi0R^ 1 , Q 2 p=RE 2 , 



0-/3 = 6{Qp), 0-20 = 0(Q 2 p), 

ou "0" est l'involution de Cartan (au niveau algebrique) et 

/ -1 \ / -i \ / 2 -2 \ 

Ex = 1 -1 E[= I -i i E 2 = i . 
\ -1 / \ -i / \ 2 -2 / 

Notons n = ga + et iV = exp(n). Alors les decompositions d'lwasawa 
correspondantes sont 

= *©a©netG = K AN. 

II est clair que [Ex, E 2 ] = [E[, E 2 ] = et [E\, E[] = E 2 . Done n est une 
algebre de Heisenberg de dimension 3 et N est un groupe de Heisenberg de 
dimension 3. 



Si W = 




alors m = M.W est le centralisateur de a dans t . De plus [W, E±] = E[, 
[W, E[] = —Ei, et [W, E 2 \ = 0. Done b = m © o © n est une sous-algebre de 
Borel. Notons M = exp(m) qui est le centralisateur du sous-groupe A dans K. 
Ainsi, B = MAN est le sous-groupe de Borel associe a b. Pour simplifier, on 
note bi = a © n et Bi = AN. 

On verifie que Zq est egalement le centre de B. 
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4 Rappels sur les series discretes des groupes de 

Lie simples 



Theoreme 4.1 Soient G un groupe de Lie lineaire semi-simple, K C G un 
sous-groupe compact maximal, q et I leurs algebres de Lie respectives. On sup- 
pose que K et G ont le meme rang. Soit done t C t C q une sous-algebre de 
Cartan de q. Notons A = £(fjc fc) e ^ = ^(^d tc)- 

Supposons que A € (it)* esi non-singuliere (autrement dit (A, a) 7^ pour 
toute a £ A J. On considere I 'ensemble de racines positives (pour A), A + = 
{a € A| (A, a) > 0}. A J- = A + P) Ax est un ensemble de racines posi- 

tives pour Ak- Notons Sq (resp. 5k) Id demi-somme des elements de A + (resp. 

Si X+5g est analytiquement integrable (i.e. est la differentielle d'un caractere 
du tore maximal T), alors il existe une unique serie discrete ir\ de G qui possede 
les proprietes suivantes : 

(a) 7T\ a le caractere infinitesimal oil £\ est le caractere du centre de 
I'algebre enveloppante de q defini par A. 

(b) Dans la restriction de n\ a K que I'on note tt\\k, le K type avec le plus 
haut poids (par rapport a A K ) 

K = \ + 5 G -25 K 

figure une seule fois. 

(c) si A' est le plus haut poids d'un K type qui apparait dans h\\k, alors, 
A' est de la forme 

A' = A + n a a ici n a sont des entiers positifs ou nuls. 

aeA + 

De plus, deux telles tt\ 1 et tt\ 2 sont equivalentes si et seulement si Ai et A2 
sont conjuguees par Wk , ou Wk est le groupe de Weyl pour Ak ■ Et, toute serie 
discrete de G est obtenue de cette maniere 

Remarque 1. (1) La parametrisation des series discretes est due a Harish- 
Chandra. Les assertions b) et c) du theoreme sont une partie de la conjecture 
de Blattner, demontree par Hecht et Schmid. 

(2) Dans le theoreme, le parametre A est appele le parametre de Harish- 
Chandra, et le parametre A est appele le parametre de Blattner. 

(3) Supposons que G est simple et que le centre de K est de dimension supe- 
rieure ou egale a 1 . Alors tt\ est une serie discrete holomorphe si et seulement si 
pjt = ffl_Q, g A + 0C es * une sous-algebre (abelienne) de qc, ou A+ est l'ensemble 
des racines non compactes positives (relativement a A). De plus est l'espace 
radiciel de a. Dans ce cas tt\ est holomorphe pour la structure complexe definie 
par pjt sur G/K. 

(4) Si / G Q* est une forme lineaire fortement reguliere, d'apres ce que Ton 
a explique dans le chapitre 2, g(f) est une sous-algebre de Cartan. Supposons / 
de type compact. Sans perte de generalite, on peut supposer g(/) = t. Done / € 
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t* C g* (on utilise la decomposition en somme directe g = t© [t, g] pour identifier 
t* a un sous-epace de g*). On peut done definir l'ensemble de racines positives 
A + relatif kif G (it)* comme on a fait pour A dans le theoreme precedent. Soit 
S (resp. 8k) la demi-somme des racines dans A + (resp. A^- := A + n Ak)- 

Ainsi / est admissible pour G si et seulement si A = if est un parametre de 
Harish-Chandra. Supposons que nous soyons dans ce cas. Alors, la representa- 
tion Tf de la parametrisation de Duflo est la serie discrete tt\. 

Soit Xf l a caractere de T de differentielle if + S — 25k- On voit facilement 
que le caractere central de la serie discrete Tf = ii\ est la restriction de \f au 
centre Zq de G. 

(5) Soit / G g* est une forme lineaire fortement reguliere de type com- 
pact. Avec les notations de (4), on dit que / est dans le cone holomorphe, si 
pjt = ffi_ Qe A+0C es ^ une sous-algebre (abelienne) de gc, ou A+ est l'ensemble 
des racines non compactes dans A + . Done il est clair que si / est de plus ad- 
missible, la serie discrete Tf est holomorphe si et seulement si / est dans le cone 
holomorphe. 

Maintenant, on revient sur G = SU (2,1) et on reprend du chapitre 2 le 
concernant. On veut trouver a quelles conditions un element A G t* correspond 
a une serie discrete et a quelles conditions cette derniere est holomorphe. 

II est clair que Wk = {s ai2 , id}. Done, d'apres le theoreme, on peut toujours 
supposer que a\ 2 est dans A + . Les ensembles de racines positives contenant a\ 2 
sont 

A+ = {ai2, a 32 , a 3 i} , Aj = {a i2 , a 2 3, ai 3 } , Aj = {a X 2, a 32 , ai 3 } 

D'apres la remarque (3) precedente, on peut deduire que et A^" corres- 
pondent aux series discretes holomorphes et A^" a celles non holomorphes. 

Remarque 2. (1) Comme 8q = lj2(u\2 + a.32 + CK31) = est un poids, A 
correspond a une serie discrete si et seulement si A est analytiquement integrable. 

(2) Par convention, on appelle « series discretes holomorphes », celles qui 
correspondent a l'un des ensembles de racines positives A^~ ou A^ , et « series 
discretes anti- holomorphes », celles qui correspondent a l'autre. Dans la suite, 
pour nous conformer a Particle de Rossi et Vergne ([29]) que Ton va utiliser, on 
appellera « series discretes holomorphes » , celles correspondant a Af . 

D'apres le theoreme, les « A » qui correspondent a A^" sont celles qui verifient 
que (A, a) > pour toute a £ A^ et A + Sq est analytiquement integrable. On 
en deduit done que les « A » qui correspondent a sont celles qui verifient 

X(H 12 ) = m G N+ X(H 32 ) =n 2 e N+, X(H 31 ) = n 3 G N+. 

Mais, comme H 32 = H\ 2 + H 3 \, et H\ 2 et H 3 \ sont lineairement independants, 
la condition precedente est equivalente a 

X(H 12 ) = m G N+, X(H 31 ) = n 3 G N+ ou le choix de n% et n 3 est independant. 
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5 Etude des orbites coadjointes de G, B et B\ 



Nous commengons par rappeler ce que nous entendons par proprete et faible 
de proprete pour la projection d'une orbite coadjointe. On se donne un groupe 
de Lie presque algebrique connexe G d'algebre de Lie g et H C G un sous-groupe 
presque algebrique d'algebre de Lie f). On designe par p la projection naturelle 
de g* sur t)*. Soit O C g* une orbite coadjointe sous G. 

Nous dirons que la restriction de la projection p a O est propre, si elle est 
propre sur l'image, c'est a dire si, pour tout compact L C p(0), flO est 

compact. 

Nous dirons que la restriction de la projection p a O est faiblement propre, 
si, pour tout compact L C p(0) fl f)/ r , n O est compact. 

Pour simplifier, dans tout ce qui suit, sauf indication contraire, on garde 
toutes les notations concernant SU(2, 1) du chapitre precedent (i.e. on note 
G = SU(2, 1) etc). On designe par p (resp. p x ) la projection naturelle de g* sur 
b* (resp. b*). 

Maintenant, on va enoncer le plan de ce chapitre. 

1) Determination des orbites coadjointes fortement regulieres et celles forte- 
ment regulieres et admissibles de et determination des donnees d'admissibi- 
lite. 

2) La meme chose pour b*. 

3) Etude de la faible proprete (et de la proprete) pour la restriction de p x a 
une orbite fortement reguliere de type compact. 

4) La meme chose pour p. 

5.1 Orbites coadjointes fortement regulieres (et admis- 
sibles) de b{ 

Maintenant, S, E\, E[, E2 sont comme dans le chapitre 3, ils constituent 
une base de bi. Notons S*, E*, E[* , E% la base duale correspondante dans b*. 

Proposition 5.1 Notons Sl~ = {b E bj | b(E 2 ) < 0} et £1+ = {b E b\ | b(E 2 ) > 
0}. Alors CI 1 * 1 = B.(±E%) sont les seules NA-orbites coadjointes fortement re- 
gulieres dans bl, et elles sont egalement admissibles. 

Demonstration. Notons bj' = {b E b{ | b(E 2 ) 7^ 0}. Comme M.E 2 est un ideal 
de bi, il est clair que b\' est un ouvert B\ -invariant (pour Taction coadjointe). 
Soit b E bj'. Nous allons voir que bi(&) = 0. Soit n = bi n . Comme l'ideal n 
de bi est une algebre de Lie de Heisenberg de dimension 3 de centre E 2 , on a 
N.n = n + (RE^, ou (RE^ 1 - = {g E n*\g{E 2 ) = 0}. On peut supposer que 
b = fiS* + ^E 2 avec 7 7^ 0. Dans ce cas, la matrice de la forme Bj, dans la base 
5, Ei, E[, E 2 est 

/ 2 7 \ 

7 

-7 
\ -27 / 
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On en deduit done que les -Bi-orbites coadjointes dans bj' sont ouvertes. 
Comme elles sont connexes, par argument de connexite, il y en deux : f2 _ et 
fl + . De plus comme est simplement connexe, si b £ SY* 1 on deduit que 

Bi — > n ± 

x i — > x.b 

est un diffeomorphisme, de sorte que le stabilisateur B\(b) est trivial. Done f2~ 
et 0+ sont fortement regulieres et admissibles, d'ou le resultat. □ 

5.2 Orbites coadjointes fortement regulieres (et admis- 
sibles) de b* 

W, S, Ex, E[ et E 2 est une base de b et on note W* , S* , E*, E[* et E% la 
base duale de b*. 

Proposition 5.2 Pour r e R, notons O n _ = B.(rW* - E 2 ) C b* et O r . + = 
B.(rW* + ££) C b*, alors 

1) Les B -orbites fortement regulieres dans b* sont les fl r ,- et fl r .+ - Elles 
sont deux a deux distinctes. 

2) Les B- orbites fortement regulieres et admissibles dans b* sont les f2 r> - et 
fir,+j avec r + | £ Z/3. 

Demonstration. On va commencer par determiner toutes les orbites fortement 
regulieres de B = MAN : b = m a © n. L'algebre de Lie b est de dimension 
5 et elle contient bi comme un ideal. II suit alors de la proposition 15.11 de la 
section precedente, que si / 6 b* verifie /(-E-j) 7^ 0, on a dimB.f = 4 . Soit 
done / € b* telle que f(E 2 ) 7^ 0. Quitte a translater / par un element de Bi, 
on peut supposer que / = rW* + eE 2 avec e € {±1}- H est alors immediat 
que b(/) C m et done que b(f) = m, pour des raisons de dimension. On en 
deduit que les orbites il r ,- et Q r ,+ sont fortement regulieres. Maintenant si 
f(E 2 ) = 0, alors M.E 2 C b(f). Done / ne peut pas etre fortement reguliere. Par 
suite, b* fr = {/ e b* | /(-E^) 7^ 0} et Q ri _ et Cl r ,+, r £ K sont les seules S-orbites 
fortement regulieres dans b*. Comme B = MB\ et comme le stabilisateur d'un 
point de f2± dans B\ est trivial, on en deduit que les formes lineaires rW* + eE 2 
et r'W* + e'E 2 avec r, r' € M et £ {±1}, ne peuvent etre dans la meme 
£>-orbite que si r = r' et e = e'. Par suite, les orbites fl r .± sont deux a deux 
distinctes. 

Maintenant, on va determiner toutes les B-or bites fortement regulieres ad- 
missibles dans b*. On a deja vu que les B-orbites fortement regulieres (dans b*) 
sont les f2 r .± r6t. Soit done / = rW* + eE 2 G b*. On veut chercher les condi- 
tions, pour lesquelles / est admissible. Par des calculs directs, on voit que le sta- 
bilisateur de / dans B est B(f) = exp(IEW) et que £ = CW<3)C(E 1 +eiE' 1 )®CE 2 
est une polarisation positive pour la forme bilineaire alternee Bf. Done p^(W) = 
\tv{W i/cw ) = -e| (car [W, E x + eiE[] = -ei(E x +eiE[) et [W,E 2 ] = 0). Done 
en appliquant le lemme 12.11 on deduit que / est admissible si et seulement 
s'il existe un caractere x de exp(IRVF) dont la differentielle est p^ + if\mv- 
Comme (p^ + if\s,w)(wW) = iw(r — eh), w £ R, si un tel caractere \ existe, 
on a x(exp(wM / )) = e t ( r - £ ?) w j w € M. Or il est clair que exp(wW) = 1 
si et seulement si w G 67rZ. Done un tel caractere existe, si et seulement si 



18 



Qni(r — eh) £ 2iriZ, c'est-a-dire r + | G Z/3. On en deduit que les B-orbites 
fortement regulieres et admissibles dans b* sont les il r ,- et ^r,+ 5 avec 
r + \ E Z/3, d'ou le resultat. □ 



Pour ce dont on a besoin ulterieurement, on va decrire explicitement les 
orbites fi r , ± • D'abord on a B.(rW* + eE^BxM^W* + eE* ) = B 1 . (rW* +eE*). 
Soit done b — cxp(x£'i + yE[) exp(zE 2 ). exp(sS') dans Bi, avec x, y, z, s G R. 
Comme = £(, [W^l] = -E u [W,E 2 ] = [W,S] = 0, on en deduit que 

expi-xE^yEfi.W = W +[W,xE 1 +yE[}+ [[W > xEl+yE '^ xEl+yE ^ = W + xE[- 
yE 1 - (^^)E 2 . Done b-\W = W + xe~ s E[ - ye- s E x - {^^-e~ 2s )E 2 et 

b.(rW* + eE$)(W) = r~ e(^pl) e - 2s , ici e G {1,-1}- D'autre part, on verifie 
que Ton a b.E* = (2ze~ 2s )S* + ye^ 2s E\ - xe^E 1 * + er 2s E*. On en deduit 
que 

b(rW* + eE* 2 ) = (2ez e - 2s )S* + eye~ 2s El - exe'^E 1 * + ee' 2s E; 
+ (r-e(?-±^e- 2 °))W*. 

Ceci montre que l'on a 

0,± = {wW* +sS* +xE{+yE'* + zE* \x, y, s£R, ±z > 0,w = r- - * V }■ 

Done on voit facilement que deux formes lineaires de b*, fi = WiW* + SiS* + 
XiE* + y%E'* + ZiE 2 , i = 1, 2 avec zi,z 2 ^ sont dans la meme orbite, si 

2 _j_ , 2 2 , 2 

et seulement si z x z 2 > et W\ + = w 2 + ■ Done W\W* + S\E 2 et 

w 2 W*+e 2 E2 avec ei, e 2 G {±1} sont dans la meme orbite, si et seulement 

si £i = £ 2 et w\ = w 2 , et / = wW* + sS* + xE{ + yE[* + zE^ € b* avec 

2,2 

z 7^ 0, est dans la meme orbite que (w + ^-)W* + eE* 2 avec ez > 0. 

Une consequence importante est que l'on obtient un diffeomorphisme : 

*:Mx AN x {±1} — ► b* fr 

(r,x,e) i— > s;.(rr + &E£). 
Pour / G b^ r , on ecrit = (r(f),x(f),e(f)). Alors on a r(f) = w + 

et e(f) = fa pour / = wW* + sS* + xEf + yE[* + zE* 2 G b* fr . 

5.3 La faible proprete (et la proprete) de la projection p : 

Supposons que fo G 0* est fortement reguliere de type compact (pas force- 
ment admissible). Done d'apres ce que l'on a explique, sans perte de generalite, 
on peut supposer que g(fo) = t, auquel cas fo est de la forme fo = fo(H)H* + 
fo(Z)Z* efc fl*, avec |/ (fT)| ^ et |/ (fT)| ^ \f (Z)\ (ici, (H*,Z*) designe 
la base duale de la base de t introduite dans la section D'autre part, on voit 
facilement que fo est dans le cone holomorphe (que l'on a defini dans le chapitre 
precedent) si et seulement si \fo(H)\ ^ et \f (H)\ < \fo(Z)\. 
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Maintenant, on va determiner p 1 (G./o)- Comme G = NAK, il est evident 
que Pl (O w J = Pl (NAK.f Q ) = NA. Pl (K.f ) et K.f = f (H)K.H*+f (Z)Z* C 
0*- 

On identifie g* a g par 

0^0* 

x — > (y -^tr(xy)), 

oii X, Ye q. Puisque la forme "tr(XY)" est proportionnelle a la forme de 
Killing, et tr(H 2 ) = —2 , tr(Z 2 ) = —6, on en deduit que sous cette identification, 
H* = H et Z* = f . 
Posons 
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Mors, on a les relations [H,F] = 2V, [F,V] = 2H et [V,H] = 2F. De plus, 
(H, F, V) est une base orthonormee de l'algebre derivee J' de fi. Comme le sous- 
groupe derive K' de K est isomorphe a SU (2) et les orbites coadjointes de SU (2) 
sont de dimension 2, on voit que 

K.H* = { Xl H + x 2 F + x 3 V\ x\ + x% + x\ = l} . 

Maintenant, S, E\, E[, E 2 sont comme dans le chapitre precedent; ils 
constituent une base de b\. Notons S*, E*, E'* , E 2 la base duale correspon- 
dante dans b\. Par des calculs directs, on montre que 

H\ bl =E* F\ bl =-El V\ hl =-E[* Z*\ bl = ^\ bl =E*. (1) 

Done 

PiiK.H*) = { Xl E* + x 2 E* + x 3 E[*\ x\ + x\ + x\ = 1} 

et 

Pl (Z*)=E*. 

Ainsi, on a 

Pl (A'./o) = { (fo(H) Xl + f (Z))E* 2 + h{H){x 2 El + x 3 E'*)\ x\ + x\ + x\ = l} . 
On en deduit done que 

Pl (G./o) C bf = bi} r \fo(H)\ < \f (Z)\ 



/o est dans le cone holomorphe, 

ou b\' = {b G bj | 6(^2) 7^ 0}. Surtout dans ce cas, p 1 (G./o) est une _Bi-orbite 
coadjointe ouverte dans b^. 

Maintenant on va demontrer un theoreme general qui permet de conclure la 
faible proprete (et la proprete) de la projection Pl . 
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Theoreme 5.3 Soit G\ un groupe de Lie simple lineaire connexe d'algebre de 
Lie Q\. Soit G\ = K\A\N\ une decomposition d'lwasawa, oil K% est un sous- 
groupe compact maximal de G\. On suppose que A±N± admet une orbite coad- 
jointe ouverte dans (di © tii)* (oil ai et xi\ sont les algebres de Lie de A\ et 
N\ respectivement ). Soit g G g* tel que le stabilisateur G\(g) = T± soit un tore 
compact. Alors pour que la projection p 1 : O := G\.g — > C (fli©tti)* soit 

faiblement propre, il faut et il suffit que Pi(0) soit une A\N\-orbite coadjointe 
ouverte (dans (ai © til)*/ De plus au cas oil p 1 est faiblement propre, elle est 
aussi propre. 

Demonstration. D'abord, d'apres le theoreme 9.1 de l'appendice, Pi(0) contient 
une ^lA^i-orbite coadjointe ouverte de (ai©tii)*. De plus, un groupe exponentiel 
n'ayant pas de sous-groupe fini non trivial, A\N± est diffeomorphe a toutes ses 
orbites coadjointes ouvertes. Maintenant si Pi(C) = il est une orbite coadjointe 
ouverte, fixons fi G O C qI et hi G il C (ai ffi rii)*. Alors 

A 1 N 1 — > AxNx.hi 

a i — > a. hi 

est un diffeomorphisme. Supposons que L C £1 est un compact, et x = bikifi € 
pj~ 1 (L) ou bi G AiNi, ki € Ki. Done &i.p 1 (fci/i) G L, et il est clair que 
Pi(Kifi) est un compact dans f2. Done selon ce qui precede, p 1 (i4Ti/i) peut 
s'ecrire p 1 (Kifi) = Qi.hi, ou Qi est un compact dans AiNi. De meme, L = 
02. hi avec O2 un compact dans A\Ni. On en done deduit que &1O1 C 02. Done 
bi € 02-©!" 1 , ainsi, on deduit que pj _1 (L) C 2 .0^ 1 ./^i/i qui est un compact 
dans l'orbite O. Done p]~ 1 (L) est aussi compact, puisque p]~ 1 (L) est ferme dans 
O. Done p 1 est propre, done faiblement propre. 

Maintenant supposons que Pi(0) n'est pas une AiTVi-orbite coadjointe ou- 
verte de (cii ©rii)*, et ft = AiNx.ho est une orbite ouverte contenue dans p 1 (C) 
ici, ho = Pi (5) avec g e O. II est clair que Pi(O) = A\N\.\>i(K\.g). Done 
on en deduit que p 1 (Ki.g) <£. fl. D'autre part, on a Qf]p 1 (0) ^ il, ou ft est 
1' adherence de il dans (cii © rti)*. En effet, sinon ilf]p 1 (0) = il, done il est 
ouvert et ferme dans p^O) qui est connexe (car Gi est suppose connexe), done 
il = p 1 (0). Ceci est une contradiction avec l'hypothese « Pi(0) n'est pas une 
orbite ouverte ». Done on en deduit qu'il existe une suite {k n } dans Ki telle que 
p 1 (fc„.A) S n et Pi{k n .g) — > h ^ f2. II est clair que Pi(k n .g) s'ecrit d'une fagon 
unique Pi(fc n -<?) = ln-ho, avec l n £ A\Ni. Done on en deduit que la suite {l n } 
n'est pas bornee dans A\Ni (e'est-a-dire {l n } n'est pas contenue dans un com- 
pact de .AiiVi). Done {(^n) -1 } n'est pas bornee dans A±Ni. D'autre part, il est 
clair que (l n )~ i k n .g G Pi {{ho})- Or il est bien connu que O est diffeomorphe a 
AiNi x A'i/Ti, ou Ti est le stabilisateur Gi(g) qui est d'apres l'hypothese, un 
tore de K\. Done on en deduit que pj~ 1 ({/io}) n'est pas compact, done p : n'est 
pas faiblement propre. Le theoreme est done bien demontre. 

□ 

Maintenant, on revient a G — SU (2,1). II est clair que les conditions du 
theoreme precedent sont verifiees pour G et /o G g* fortement reguliere. Done 
selon ce que Ton a obtenu, on a le theoreme suivant : 
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Theoreme 5.4 Soit fo £ t* C g* une forme lineaire fortement reguliere. On 
pose Of a = G.fo. Alors la projection p 1 : Of — > p 1 (Of a ) C b* est propre ou 
faiblement propre, si et seulement si /o est dans le cdne holomorphe. 

Gardons les notations du theoreme l5.3l et supposons de plus que G\jK\ soit 
un espace hermitien symetrique. Alors il est bien connu que AiiVi admet des 
orbites coadjointes ouvertes. Dans ce cas Rossi et Vergne ([29]) ont demontre le 
resultat suivant : si tx est une serie discrete holomorphe ou anti-holomorphe de 
Gi, alors n est AiTVi-admissible (dans le chapitre suivant, on va detailler plus sur 
les resultats de Rossi- Vergne) . D 'autre part Rosenberg et Vergne ([28]) ont de- 
montre que si tt est une serie discrete ni holomorphe ni anti-holomorphe (de Gi), 
alors 7r n'est pas A\ TVi -admissible. La mise en perspective de ces resultats, du 
theoreme l5.3l et la conjecture de Duflo nous amene a poser une autre conjecture : 

Conjecture : En gardant les notations du theoreme 5.3, on suppose que 
G\jK\ est un espace hermitien symetrique et 7r est une serie discrete de G\ 
avec Gi-orbite coadjointe associee C 0*. Alors nous conjecturons que tt 
est holomorphe ou anti-holomorphe, si et seulement si p 1 (O x ) est une 
AiiVi-orbite coadjointe ouverte dans (cti ©rti)*. Plus generalement si O C 
0^ est l'orbite coadjointe d'un element f £ qI dont le stabilisateur est un tore 
compact, alors les assertions suivantes sont equivalentes 

(i) p-L est propre 

(ii) Pi est faiblement propre 

(hi) Pi(C) est une AiiVi-orbite coadjointe. 

(iv) p 1 (0) est une A\ ./Vi-orbite coadjointe ouverte. 

(v) / est dans le cone holomorphe. 

Remarque. Cette conjecture a ete prouvee par l'auteur recemment, comme 
souligne dans la remarque de l'introduction. 
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5.4 La faible proprete (et la proprete) de la projection p 

Theoreme 5.5 Soit /o G t* C g* une forme lineaire fortement reguliere et 
Of a — G.fo- Alors la projection p : Of — > p(Of ) C b* est faiblement propre. 
De plus elle est propre si et seulement si fo est dans le cdne holomorphe. 

Demonstration. Rappelons que b = mffiaffln, et W, S, Ei, E[ et E 2 est une 
base de b, ou S, E\, E[ et E 2 sont comme dans la section precedente et 

. / 1 \ 
W= - -2 em. 
3 \ 1 / 

Notons W*, S*, E{, E[* et E\ la base duale de b* . Soit k G K. Comme p 
est Jv-invariant, p(K.f ) est contenu dans l'orthogonal de p n b = a = RS. On 
a done 

p(fc./o) = (k.f ,W)W* + (k.f 0l E 2 )E% + (k.f ,E 1 )E* 1 + (k.f Q ,E[)E'*. 

De sorte que p(fc./ ) G b* fr & (k.f , E 2 ) + 0. Soit K' = {k G K\{k.f , E 2 ) ^ 0}, 
e'est un ouvert de K. Maintenant, rappelons que l'on a obtenu un diffeomor- 
phisme : 

$:Rx AN x {±1} — > b* fr 



(r,x,e) i— > x.(rW* +eE* 2 ), 
et que, pour / = wW* +sS*+xE*+yE[*+zE* G b* frl tf"^/) = (r(/),x(/),e(/)), 
avec r(/) = to + ^! e t e(f) = |fj. 

Soit done fc G X', on pose r(fc) — r(p(fc./o)), x(fc) = a:(p(fc./o)) et e(fc) = 
£ (p(fc./o)). Mors 

2{k.f ,E 2 ) 

Maintenant soit H, F, V et Z comme dans la section precedente. Alors, on 

a 

k.f = (k.f ,H)H* + (k.f ,F)F* + (k.f ,V)V* + (f ,Z)Z* G fl*, 

avec (fc./o, ) 2 + (fc./o, -F) 2 + (fc./o, = </ , F) 2 et ici pour X e 3, (H*,X) = 
-±tr(iZX), = -|tr(FX), (V*,X) = -|tr(VX)et (Z*,X) = -\tv{ZX). 

D'autre part, par des calculs directs, on a (H* , W) = |, (F*, W) = (V*, = 
et (Z*,W) = de sorte que (fc./o, = \{k.f ,H) - \{fo,Z). Enfin, il 
suit des relations Q] que (k.f ,E 2 ) = (fc./o, -ff) + {f ,Z), (k.f a ,Ei) = -{k.f ,F) 
et {k.f ,E' 1 ) = -{k.f ,V). 

Done on a 

2{k.f ,E 2 ) 

1,, , m l /# ^ , (/o, g) 2 - (fc./o, ff) 2 
- -(fc./o, if) - -(/ ,Z) + 2{{k j 0jH) + {fQiZ)) 
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3 WU ' ' 2({k.fo,H) + {f ,Z}y 
soit 

3 2{k.f ,E 2 ) 

Maintenant, pour <5 > , posons A5 = {fc € K\ | (fc./o,^) |^ (5}, c'est un 
compact de A". 

Soit r C bj r un compact. Alors il existe u < n 6 I et L C AN compact 
tels que T C $([u, u] x L x {±1}). Soit fc g A", alors si ANp(k.f ) n T 7^ 0. on 
a fc g A' et r(fc) € [u, u]. Compte tenu de la formule (**) donnant r(k), cela 
montre qu'il existe 8 > tel que l'ensemble A r = {k g A|AAp(fc./ ) n T 7^ 0} 
est contenu dans A<5. Soit x g A A et fc g A, alors on a 

p(xk.f ) eT^keKr et xx(fc)(r(fc)VF* + e(fc)A 2 *) g T 



=>■ fc G A5, r(fc) g [it, i>] et xx(k) 6 L 

fc g A 5 , et L(.t(A^)) _1 . 

On voit done que p _1 (r) C L(x(K$))~ 1 K$f( ) . Or L et Ks etant compacts et 
p~ 1 (r) etant ferme, on en deduit que p _1 (r) est compact, done p est faiblement 
propre. 

Maintenant, si | fo(Z) \>\ fo{H) |, on a p(G./o) C b*^ r . Done p est propre. 
Si I f (Z) \<\ f (H) I, alors on voit facilement que K\K' ^ et si k € A\A', 
on verifie directement que expRA2.(fc./o) C p _1 (p(fc-/)) de sorte que p n'est 
pas propre. Done la demonstration est bien acbevee. 

□ 
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6 Representations 



Toutes les notations concernant G = SU(2, 1) des chapitres precedents sont 
gardees pour ce chapitre. 

Soit n\ la serie discrete de G avec le parametre de Harish-Chandra A € it*. 
Selon le chapitre 3, on peut supposer que A correspond a un ensemble de racines 
positives defini dans le chapitre 3, ou j G {1, 2, 3}. D'apres la theorie de Du- 
flo (dans ce cas la c'est aussi la theorie de Harish-Chandra pour les groupes 
de Lie reductifs), 7r\ correspond a la forme lineaire /o = — i\ G t* C g*, ou 
l'inclusion "t* C g*" est relative a la decomposition g = t© [t, q] (et aussi a la 
forme de Killing). Dans ce cas, comme on a deja evoque dans le chapitre 2, il y 
a un seul element r dans X(fo), et T9 t = tt\. Pour simplifier, on designe Tf r 
par Tg et on designe l'orbite coadjointe associee G./o par 0^ x . De plus on note 
la complexifiee de /o encore Jo- Done on a /o(-Ey) = 0, et /o|t = —iX, ou les 
Eij> i i(l ^ h J ^ 3) sont des matrices elementaires dans M3(C). 

Dans ce chapitre, on va determiner la decomposition de tt\\b et ttx\na en 
combinant plusieurs travaux et methodes differents. Puis on va confirmer la 
conjecture de Duflo pour G = SU(2, 1) en interpretant la decomposition dans 
le cadre de la methode des orbites. Enfin, on va en retirer des consequences sur 
des systemes differentiels qui semblent difficilement s'obtenir directement. 

Maintenant on enonce le plan de ce chapitre : 

1) Description des representations (irreductibles et unitaires) de B\ et de B 
associees aux orbites (coadjointes) fortement regulieres et admissibles. 

2) Interpretation des travaux de Rossi- Vergne et confirmation de la conjec- 
ture de Duflo pour les series discretes holomorphes et anti-holomorphes de G. 

3) Construction des series discretes de G par des formes harmoniques (sens 
generalise de L 2 -Cohomologie). 

4) Application de 3) a la decomposition de tt\\b (et de 7Ta|si)- 

5) Etude du comportement asymptotique des solutions des systemes diffe- 
rentiels lies a 4). 

6) Interpretation et application des travaux de Fabec et de ceux de Kraljevic. 

7) Confirmation des assertions (i) et (ii) de la conjecture de Duflo pour 
G = 577(2,1). 

8) Consequences sur les systemes differentiels dans 5). 

6.1 Description des representations (irreductibles et uni- 
taires) de Bi et de B associees aux orbites (coad- 
jointes) fortement regulieres et admissibles 

Dans le chapitre precedent, on a deja vu qu'il y a deux orbites coadjointes 
fortement regulieres et admissibles dans b\ : et notons f± = ±E* £ 
Sl ± C bj. Le stabilisateur de f± dans B\ etant trivial, il y a un seul element 
t± dans X(f±), done une seule representation unitaire irreductible associee a 
il ± , on la note T±. Puisque et 17+ sont ouvertes, T_ et T + sont des series 
discretes de B\ (en fait il n'y a que deux series discretes pour B\). 

Maintenant en suivant la construction de Duflo, on va donner une realisation 
concrete pour T_ et T+. 
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Posons n± = f±\ n . Alors, n est le radical unipotent de bi et le stabilisateur 
de n± dans B\ est le centre Z de A. On en deduit que 

Bi 

T± = IndfT n± 
N 

ou T n± est la representation irreductible unitaire de A associee a n± par la 
methode des orbites de Kirillov. 

On verifie que l± = C (E% ± iE[) © CE2 C nc est une polarisation positive 
de f±, c'est aussi une polarisation positive pour Ti-j- — ,/ztln* 

Nous realisons alors T n± comme une induite holomorphe : Soit ip une fonc- 
tion lisse sur A qui verifie 

X * ip = —n±(X)tp pour tout X G i± (A) 

ou, X * ip est Taction de X sur ip en tant qu'operateur differentiel invariant 
a gauche. (ici, on prolonge naturellement Paction a nc, plus preciseent, pour 
X,Y G n, X * ip(x) - f t ip(xcxp(tX)\ t=Q , et (X + iY) *<p = X*ip + iY*ip). 

Comme E2 G l±, on peut done deduire facilement que pour tout X G M.E2, 
ip(x exp(X)) = e~ m± ^ip{x). Done, \tp\ 2 est bien definie sur N/ exp(M£ , 2)- No- 
tons M(n±, l±, N) le complete hilbertien de l'espace prehilbertien des fonctions 
lisses sur B\ qui verifient (A) avec la norme 

\\(p\\ 2 = I \<p\ 2 dx < +00, 

JN/ oxp(RB 2 ) 

ou dx est la mesure invariante a gauche sur N/ exp(Ri?2)- On sait qu'elle 
existe, puisque ex.p1iM.E2) est distingue dans N. II est clair que N opere dans 
H(n± , l± , N) par translations a gauche, et cette representation que Ton note 
p{ /±) '±1 A) est bien une realisation de T n± . Similairement, on peut definir une 
representation p( f±, [±, Bi) de B\ dans M(n±, l±, B{) (il suffit de remplacer 
A par Bi). Puisque B\ est le produit semidirect de A et A, on deduit que 

Bi 

P{ f±, (±, Bi)SIndtT n± =T±. 

A 

Maintenant soit V = REi © RE[. Alors £± = l± n Vfc est un lagrangien 
complexe totalement positif de V pour B n± , et on a un isomorphisme (d'espaces 
vectoriels reels) : 

V = £± 



x 1 — > v x ou v x est l'unique element de £± tel que x — v x + W a . 

D'ou la structure complexe et hermitienne sur V : (x,x) = —iB n± (v x ,v x ~), x G 
V. 

Soient Sp(V) le groupe symplectique de V pour B n± , et Mp(V) le groupe 
metaplectique qui agissent dans A par automorphismes. Alors il existe une 
unique representation S n± (la representation metaplectique) de Mp(V) dans 
H(n±, (±, A) qui verifie 
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S n± (x.y) = S n± (x)T n± (y)S n± (x)-\ x G Mp(V), y G N. 

Soit U(£±) = {x G Sp(y)|xi± = £±} ~ [/(!/) le groupe unitaire de V (pour 
la structure hermitienne definie plus haut), et U(£±) son image reciproque dans 
Mp(V). Alors on a 

U(l±) = {(u,z) G U(£±) x C x }\z 2 = det e± u}. 

Soit x± l e caractere de U(£±) tel que x±(w, z) = z. Alors on definit une 
representation S' n± de U(£±) dans H(n±, 1±, A'') par 

S'niWV^) = f{x^z). 

II vient alors 

S n± {x) = X ±{x)S' n± {x), x&U(£ ± ). 

Cela dit Taction adjointe de M dans n stabilise V et est triviale sur M.E2- 
Elle permet d'identifier M a J7(y). La representation T n± s'etend done a MA 
comme la representation S' T n± . 

Maintenant soit T± = Ind t ^^Tni- Alors il est clair que T-tl^ = 

MN 

IndfT rl± = T± de sorte que T± prolonge T± a B = MB\. D'autre part, on 
N 

verifie facilement que 

fyx)ip)(y) = (fix^yx), y G H(n±, l±, B x ) x&M, y G B x . 

On a vu que les i?-orbites fortement regulieres et admissibles dans b* sont 
les ri r> _ et fi r) +, avec r + i G Z/3. 

Maintenant, on va appliquer la theorie de Duflo au sous-groupe de Borel 
B = MAN d'algebre de Lie b = ro © a © n. 

On a vu que pour f r< ± = rW* ± E% G r ,±, .B(/±) = expRW = M = 
U(V) est un tore de dimension 1. Done B(f r ,±) b s'identifie a U(£±) qui est 
un tore connexe . Ainsi on en deduit que si f r> ± est admissible (i.e. r + | G 
Z/3), A(/) contient un seul element que Ton note T r .±, et Tf ± T ± est la 
seule representation unitaire irreductible associee a £l r ,±- Pour simplifier, pour 
m G Z, on note T TO) _ := Tj? _ Tr la representation unitaire irreductible 

associee a f2 r ,_, avec r = y — |, et T m + = _ T ^ , mais avec 7- = y + 5. 
D'autre part, puisque B(f^) = cxpRW est compact, selon la theorie de Duflo, 
l'ensemble {T m ± : m G Z} est exactement l'ensemble des series discretes 
de B. On voit done que la formule de Plancherel pour B ou B\ ne fait 
apparaitre que des series discretes. 

Dans la suite de cette section, on va donner une description concrete pour 
toutes les T m ^±. Cette description est inspiree de Rossi- Vergne ([29]), et on va 
voir qu'elle est tres utile dans la section T6.4I pour faire intervenir la formule de 
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Plancherel. 

Pour m G Z, on note <r m le caractere de M tel que cr m (exp iVF) = e^ 1 ^, t e 
K. _____ 

On a deja defini T-t. D'autre part puisque -Bi est distingue dans B, il est 
evident que Ton peut prolonger trivialement o~ m en une representation unitaire 
irreductible de B (c'est-a-dire que Taction de B\ est triviale), on la note encore 
o~ m . II est facile de voir que les representations a m © T± sont irreductibles, 
Vm G Z, on va demontrer qu'elles ne sont rien d'autres que T OTi ±. 

Theoreme 6.1 Pour tout m G Z, T m .± = a m © T±. 

Demonstration. Pour m G Z, posons r TOj ± = ± ^, et / TO> ± = r m: ±W* ± i?_f G 
f2 r ,±. D'abord, il est clair que le plus grand ideal nilpotent de b est n, et n± = 
/m,±|ni ou n ± € n* est ce que Ton a defini pour B\. Posons aussi ± = / m ,±|[ii 
qui est en fait independant de m. On a vu que t± = C (Ei ± ii^) © Ci?2 C ric 
est une polarisation positive pour n m .± et De plus [' ± = mffi I± en est une 

pour / m ,±. D'autre part par des calculs directs, on a -B(/ m ,±) = B(f^ n ± ) = il/ 
et B(n m ,±) = M expRE2- Done B{n m ,±)N = MN, et on en deduit que les 
revetements metaplectiques -B(/ m ,±) et B(f^ ± ) bl et l'image reciproque de M 
dans B(n m ^±) n sont canoniquement isomorphes a 

M± = { (x,z) G expIW x C x | x = exptW, z 2 = det(exp tW|[ ± )} . 

Comme pour £>i, on definit le caractere x± pour M± tel que x±(cxptW, z) = z. 
On verifie directement que det(exptVF|i ± ) = e T ' lt de sorte que t± = a m X±^ es t 
le seul element dans X(f„ ly ±), ou a m est le caractere unitaire de M que Ton a 
defini plus haut. 

Alors, d'apres les resultats de la section [2J on a 

T m ,± = Indf /W (r ± © S n± T n± ) 



= Indf fAr (cr m © S' n± T n± ) 
= a m © Indf /Ar S^ ± T„ ± 
= cr m © T ± , 

d'ou le resultat. □ 

Corollaire 6.2 Soit m G Z. Alors le caractere central de la representation T mj ± 
esi /a restriction du caractere o~ m au centre Zq de B. 

Demonstration. L'action de Zq par automorphismes dans ./V etant triviale. le 
caractere central de la representation T± est trivial. D'ou le corollaire. □ 
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6.2 Interpretation des travaux de Rossi- Vergne et confir- 
mation de la conjecture de Duflo pour les series dis- 
cretes holomorphes et anti-holomorphes de G 

Dans cette section, on garde les notations de la section ItxTl On suppose que 
tt\ est une serie discrete holomorphe (pour les series discretes anti-holomorphes, 
on a exactement les memes resultats), i.e. A correspond a = {a.\ 2 , ct 32 , a^i}, 
ceci equivaut a X(Hi 2 ) £ N + et X(H 3 i) £ N + . Comme on a deja explique, tt\ 
est associee a /o = — iX £ t* C g* (au sens de Duflo). Puisque H = ihl\ 2 
et Z = i(-H l2 - 2H 31 ), on a f Q (H) = -iX(iH 12 ) = X(H 12 ) et f (Z) = 
-iX(i(-H 12 -2H 31 )) = -X(H 12 +2H 31 ) (done surtout f (Z)+f (H) < 0). Done 
on en deduit facilement que tt\ est une serie discrete holomorphe equivaut a dire 
que fo(H) £ N + et fo(Z) + fo(H) est un entier pair strictement negatif. Dans la 
suite de cette section on va exprimer les resultats en fonction de fo(H) et fo(Z). 

II est clair que le parametre de Blattner de n\ est A = X + Sq — 25k = X+a 3 \. 

Notons U\ la representation unitaire irreductible de K, dont le plus haut 
poids est A (par rapport a = {a\ 2 }). En appliquant la formule de Weyl, 

la dimension de U\ 

d A = ]J ( A + ^, a) I J| (5 K , a) 
aeA+ K I «£A+ K 

= (A + 5 K , ai 2 )/(5 K , a u ) 
= (A + 5 K , H 12 )/{5 k , H 12 ) 
= (fo(H)-l + l)/l = f (H). 

Dans [29], Rossi et Vergne on donne une description de la restriction d'une 
serie discrete holomorphe d'un groupe de Lie simple a un sous-groupe de Borel. 
Nous allons appliquer leur resultat au cas qui nous interesse et ensuite l'inter- 
preter dans le cadre de la methode des orbites. 

Rappelons que les caracteres de M sont les a m , m £ Z definis par 

(T m (expW) = e ,( T ) , teR. 

On peut done ecrire 

fo(H)-l 

Ua\m = (J) <JA m , OU A m £ Z. 
m=0 

Alors d'apres [29], on a : 

Theoreme 6.3 La restriction de la serie discrete holomorphe tt\ a B — AIAN 
peut se decomposer de la maniere suivante : 

fo(H)-i _ 
^Ib^ cr Am ®T_. 
m=0 

Done on deduit que 

ta| Bi = /o(H).T_ 
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Rappelons qu'ici T_ est la serie discrete de B\ associee a l'orbite f2~ et T_ 
estson prolongement a B que l'on a defini dans la section RTT1 

Puisque dans la section T6.ll on a montre que T m ._ = o~ m <8> T_ (rappelons 
que est la serie discrete de B associee a f2 r) _, avec r = Q — |), on obtient 

fo(H)-l 

que 7r A | B = © T Am ,-. 

m=0 

Dans la suite, on va calculer explicitement les A TO . 

Comme M = exp(RW) est un tore de dimension 1, il suffit de calcu- 
ler les valeurs propres de dU^iW). Or on a, W = \H - \Z. Comme Z est 
central dans t, dU^(Z) est l'operateur scalaire k(Z)Id. Par ailleurs, A(Z) = 
(A + Q3i)(Z) = i(fo(Z) — 3). D'autre part, la restriction de U\ a K' est la 
representation irreductible de dimension fo(H) de K' = SU{2). On sait alors 
que les valeurs propres de dU\(H) sont les fo(H) — 1 — 2m, avec m entier 
et < m < fo(H) — 1. On voit done que les valeurs propres de dUx{W) 
sont iUo(H)-i-2m) _ i(/ (z)-3) = ■( 3/ (g)-J (z) _ m y 0n en deduit done que 

A TO = ^MJlLlM^j _ 3 m _ rj onc on peut resumer : 

Proposition 6.4 5m'i 7r\ une serie discrete holomorphe de G — SU (2, 1) avec A 
son parametre de Harish- Chandra qui verifie que \{H\2) = N + et \{H^\) € N + . 
Soit fo = —i\ G t* C Q* la forme lineaire associee (au sens de Duflo). Alors on 
a 

n ^B ~ T (gMHWoCg)_ 3m) _ 
rn=0 

et 

«\\ Bl = /o(H).T_ 

Pour les series discretes anti-holomorphes, on a un resultat completement 
analogue. 

Maintenant, on va demontrer la conjecture de Duflo pour tt\ holomorphe ou 
anti-holomorphe . 

Supposons toujours que ?t\ est holomorphe, et soit fo = —iX la forme lineaire 
associee (au sens de Duflo). Done l'orbite coadjointe associee 0\ de ir\ est 
G./o- Rappelons que l'on a note les projections p : 0\ — > p(Ca) C b* et 
p 1 : Ox — > p 1 (Oa) C b*. On a vu que dans notre cas fo(Z) + fo(H) < 0. Done 
d'apres la formule de la section fSTSI qui donne p 1 (if./o), on a p 1 (0^) = 
Done d'apres la proposition precedente et le theoreme 5.3, les assertions (i) 
et (ii) de la conjecture de Duflo sont confirmees pour (G, tt\,Bi). 

Soit maintenant k <S K, on a vu dans la section I5T41 que p(fc./o) € bj r si et 
seulementsi (k.f Q ,E 2 ) £ 0. Or (k.f Q ,E 2 ) = (k.f ,H) + (f ,Z) avec \(k.f ,H)\ < 
\(fo,H}\, d'apres ce qui precede, {k.fo,E 2 ) < 0. Done on a p(fc./o) C b*f r . Done 
p(G./o) C bj r . Plus precisement, d'apres la formule (**) de la section 15^1 et ce 
qui la precede, on deduit que 

p(0 7r J= |J B.(r{k)W* -E*)= |J O r(fe) ,_, 

keK keK 

our(fc) = i(/ ,Z) + 5 §f^g T . 
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On a deja vu que {(k.f ,H)\k € K} = [-\(f ,H)\, \(f ,H)\], on en deduit 
done facilement que {r(k)\k <= K} = [ -&M H )+M Z )) ; 3/ (g)-/o(Z) Donc on a 

P (o ff j = (J n r ,_. 

-(3/o(H") + /o(Z)) < < 3/ (g)-/ (Z) 
6 — — 6 

Remarquons que — (3fo(H) + fo(Z)) et 3fo(H) — fo(Z) sont des entiers 
pairs, on en deduit qu'il y a 3fo(H) i?-orbites coadjointes fortement regulieres 
et admissibles dans b* qui sont contenues dans p(0,r A ) : Elles sont 

^^ 3f (H)-/ (Z) l- m 1 ^ _, 
^ 6 ' 3 2 /' 

ou < to < 3/o(-ff) — 1 et to G Z. On l'ecrit comme une proposition. Voici 

Proposition 6.5 Soit tt\ une serie discrete holomorphe de G = 5J7(2,1) avec 
A son parametre de Harish- Chandra qui verifie que \{Hi2) G N + et\{H^i) € N + 
e£ /o = — iA G t* C Q* la forme lineaire associee (au sens de Duflo). Alors il y a 
3fa(H) B-orbites coadjointes fortement regulieres et admissibles de b* qui sont 
contenues dans p(O nx ) : Elles sont 

Q, 3fg(H)-f {Z) , i_ m ! , _ 
I. 6 "r 3 2h 

ou < m < 3f (H) - 1 et m G Z. 

D'apres la section IBTTl pour to G Z, T m _. est associee a l'orbite f2/rn_i) _, 
on peut donc deduire des propositions 6.4 et 6.5 et du theoreme 5.5 que les 
assertions (i) et (ii) de la conjecture de Duflo sont confirmees pour 

Pour n\ anti-holomorphe, on peut confirmer de la meme maniere les asser- 
tions (i) et (ii) de la conjecture de Duflo pour (G,tt\, Bi) et (G,ir\,B). 
On peut donc faire un resume : 

Pour tt\ holomorphe ou anti-holomorphe, les assertions (i) et (ii) 
de la conjecture de Duflo sont confirmees pour (G, n\,Bi) et (G,tt\,B). 

Remarque. II y a 3fo(H) B-orbites coadjointes fortement regulieres et admis- 
sibles de b* qui sont contenues dans p^^) et chaque telle orbite correspond 
a une (seule) representation irreductible et unitaire de B. cependant, il n'y a 
que /o(-ff) telles orbites qui figurent dans la decomposition tt\\ b . On va voir un 
phenomene analogue pour 7r> ni holomorphe ni anti-holomorphe. 

6.3 Construction des series discretes de G par des formes 
harmoniques (sens generalise de L 2 -Cohomologie) 

Dans cette section, on va rappeler des elements sur la construction des series 
discretes d'un groupe reductif par la methode des formes harmoniques. Dans la 
section suivante, on va appliquer cette methode a la decomposition de tt\\b (et 
de tt a | Bi ), pour G = SU(2, 1). 

Dans toute la suite de cette section, on ne suppose plus que G = SU{2, 1). 
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En 1982, Hersant a construit les "formes harmoniques et les modules de 
cohomologie relative des algebres de Lie" generalisant certaines constructions 
de Schmid ([30,31]), Narasimhan-Okamoto ([23]) et Penney. Dans la suite, on 
va d'abord faire un petit rappel de la construction de Hersant, puis expliquer 
surtout comment elle generalise la construction de Narasimhan-Okamoto. Dans 
la section suivante, on va travailler dans le cadre de Hersant. 



Rappel de la theorie de Hersant [11] 



Soient G un groupe de Lie reel, A et Z deux sous-groupes fermes de G qui 
verifient : (1) Z est inclus dans le centre de G. (2) Z est inclus dans A, et K/Z 
est compact. Soient g,£,3 les algebres de Lie correspondantes, et gc^CilC leurs 
complexifiees respectives. 

Supposons qu'il existe une sous-algebre complexe e de gc qui est stable par 
Taction adjointe de A, et telle que gc = e + e et ep| e = tc (ici "~" signifie la 
conjugaison dans gc par rapport a la forme reelle g) 

Soit V un (e, A)-module qui est A-unitaire : C'est-a-dire que V est l'espace 
d'une representation unitaire r de A et d'une representation notee r aussi, de 
e verifiant 



Vfc G K,Mx G e,r(Adk.x) = r(fc)T(x)r(fc _1 ), et Va; G 6,r(x) = 



r(exp tx). 

t=o 



Supposons de plus que Z agit scalairement dans V suivant le caractere x- 

Maintenant soit tt une representation unitaire de G dans H. On note aussi 
7T la representation de gc (et de son algebre enveloppante universelle) dans H°° 
(ici H°° est le sous-espace des vecteurs C°° de tt dans H) . 

Considerons A(e*) <S>V*® H°° = © p A p (e*) ®V*<® H°° le e-complexe stan- 
dard a valeurs dans V* <E) H°° (pour r* <S> tt). Notons d le cobord standard 
de Hoschild-Serre pour A(e) ® V* ® H°°, et O = Ad* ® r* <g> tt la repre- 
sentation de K dans A(e*) ®V* ®W° definie par : (Q(k)u)(X 1 , X p ) = 
(T*(k)®7T(k)).uj(Adk- 1 X 1 ,...,Adk- 1 X p ) ou k G A' et w G A^(e*) ® 1/* (g) H°° 
est une p-forme. On peut verifier facilement que les operateurs O(fc) commutent 
au cobord d. 

Considerons le sous-espace de A(e*) <8> V* (giH 00 constitue des formes u> telles 
que i(X)u = pour tout X G « c , ou (i(A)w)(Yi, ....,F p _i) = u(X, Y u ....,F p _i) 
pour w une p-forme. Cet espace s'identifie naturellement a 

A((e/« C )*)®^*®H°° 

qui est stable par la representation O. Notons 

m(c/ic)*)<E>V*<E>M°°} K = {ue A((e/fi c )*) <E> V* <E> H°°| 0(fc)w = w,Vfc G A} . 

On peut verifier que [A((e/t c )*) <£> V* (giH 00 ]^ est stable par l'operateur d, done 
definit par restriction de d, un sous-complexe que Ton note 

[A((e/«c)*) ®V*® U°°] K ^> [A((e/«c)*) ® ^* ® Ht°°] x . 

Puisque A/^ est suppose compact, AdA" est un groupe compact. Done sur 
A(e*) (ainsi que sur A((e/tc)*) ), il y a un produit scalaire AdA— invariant. 
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Done l'espace A(c*) <£> V* <£> H a une structure naturelle de produit tensoriel 
hilbertien, pour laquelle la representation O de K est unitaire. 

Hersant a demontre les assertions qui suivent. Le sous-espace que Ton note 
[A((e/tc)*) <E> V* <E> H] des vecteurs invariants par Q(K) est l'adherence de 
l'espace [A((e/« c )*)®V r *®H 00 ] if dans A(f)*)®F*®H. L'operateur [A((e/« c )*)<8 

y* <g> H 00 ]^ [A((e/«c)*) ® ^* <g> H°°] K a un adjoint formel 5^ sur le meme 
espace, et si on pose Ok = 9k5k + SrOk, alors 

[Im(d K + 5k)} 1 - = kcr(d K ) fl kcr(<5 K ) = kcrD^, 

ou [Im(5 J <: + 5 J <:)]- L est 1' orthogonal de Im^ + fe) dans [A((e/« c )*)®^*(g)H] K . 
En particulier, ker(d K ) n ker(5j<r) est ferme dans [A((e/<c)*) ® ^* (8 M\ K . 

Pour simplifier, on appelle le sous-complexe construit ci-dessus le "com- 
plexe de Hersant" et on le note C*(z,V,K,G,tt). Puisque dans toute la 
suite, on prend toujours "Z" trivial pour tous les groupes concernes, on n'in- 
dique pas "Z" dans la notation du complexe. De plus dans toute la suite, si le 
n K" concerne est aussi trivial, on remplacera G* (e, V, K, G, it) par C* (e, V, G, tt). 

Maintenant soit R la representation de G dans EI = L 2 (G/Z,x) par trans- 
lations a droite, ou L 2 (G/Z,x) est l'espace des fonctions / de carre integrable 
modulo Z qui verifient f(zg) = f{gz) = x{ z )f{g)^9 6 G,Vz 6 Z, on note aussi 
R la representation de gc (et de son algebre enveloppante universelle ) dans H°° . 
Ici H°° est le sous-espace des vecteurs lisses dans H et L 2 (G/Z,x) est relatif a 
la mesure de Haar invariante a gauche. Done la translation a droite de G dans 
H a le terme « A 1 / 2 »devant, si G n'est pas unimodulaire, ou A est la fonction 
module de G. 

Hersant a egalement demontre que le sous-espace ker(5if)nker(Jff) du com- 
plexe C* (e, V, K, G, R) est invariant par la representation unitaire 1 CED 1 <g) / de G 
dans A(e*) ® V* <£>ltl (ou 1 <Si 1 <g> I signifie que G agit trivialement dans A(e*) ® V* 
et par translations reguliere a gauche dans H). On note la sous- representation 
associee ir(z,x)- Comme la representation 1 <S> 1 <£> I laisse clairement invariant 
le sous-espace des q-formes, on a 7r(e, x) = © 7r9 ( e ?x)j ou 7r9 ( e iX) est la sous- 
representation associee de G dans (ker(cV) n ker(5jf)) n A 9 (e*) V"* (8 H. 

Maintenant, soit G un groupe de Lie semi-simple d'algebre de Lie g, K 
un sous-groupe compact maximal de G d'algebre de Lie J. Soit g = © p la 
decomposition de Cartan associee et soit 0C)£c>Pc les complexifies respectifs 
de g,6, p. On fixe une decomposition d'lwasawa G = KAN. Supposons que sur 
l'espace homogene G/K, il existe une structure complexe G-invariante, alors il 
existe deux sous-algebres complexes p+,p- de g c telles que 

P- : P P • P P~ [«C, P+] C p + . 

Done [6c, P-] Q P-- De plus l'espace des vecteurs tangents anti-holomorphes 
est canoniquement identifies a p + . Dans ce cas, 6 contient une sous-algebre de 
Cartan t de g (done l'ensemble des series discretes de G n'est pas vide). Notons A 
l'ensemble des racines de gc relatif a tc, et (resp. A n )l'ensemble des racines 
compactes (resp. non compactes) pour A. Alors il existe un et un seul sous- 
ensemble A+ C A„ tel que p+ = © cte ^+ g Q , ou g Q est l'espace radiciel associe a 
a, et il existe un ensemble de racines positives A + de A, tel que A+ C A + . C'est- 
a-dire que A+ est l'ensemble de racines positives non-compactes par rapport a 
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A+, on note A J. l'ensemble de racines positives associe (done A + = A+ UA^) 
et J l'ensemble des formes algebriquement integrables sur tc, i.e. l'ensemble des 
formes lineaires complexes A sur tc telles ques X(H a ) soit entier pour tout a £ A, 
ici H a est la coracine de a. Pour simplifier, on suppose que le complexifie Gc 
de G existe et est simplement connexe, de sorte que toute forme algebriquement 
integrable est analytiquement integrable. Posons 

5' = {\e$\(\ + P )(H a )^0 Va 6 A} 

& = {\€$'\(\ + p)(H a )>0 VaeA+} 

ou p = | J2aeA+ a es ^ ^ a demi-somme des racines positives associees a A + . 

Soient A e % et t\ la representation unitaire irreductible de K avec le plus 
haut poids A par rapport a Ak, et Va l'espace hilbertien associe. Notons la 
representation contragrediente de ta, et V£ l'espace hilbertien associe. Soient 
Qa = {a e A+|(A + p)(H a ) > 0} et q A = card(Q A ). 

Maintenant, on va enoncer un theoreme de Narasimhan-Okamoto dans le 
cadre de la theorie de Hersant. On reprend les notations dans "Rappel de la 
theorie de Hersant" et celles ci-dessus. Supposons que Z est trivial ( x aussi), 
K est le sous-groupe compact maximal de G, e = p+ © 6c (( e /?c)* — P-), et 
V = Va, t = ta, Taction de p + dans Va etant triviale. On note la representation 
7r 9 (e, 1) = 7r 9 (e). Alors le theoreme suivant est du a Narasimhan et Okamoto 
([23]) : 

Theoreme 6.6 Si q =/= q\, alors ^'(e) est reduite a zero, et ir qA (e) est une serie 
discrete de G. Plus precis ement, 7T 9A (e) est la representation contragrediente de 
la serie discrete de G dont le parametre de Harish- Chandra est A + p, done le 
parametre de Harish- Chandra de 7r 9A (e) est — (A + p). 

Maintenant, on veut realiser n\ comme une 7r 9A (e). Sans perte de generalite, 
on peut supposer At D Ak = A^-, ou A^" est l'ensemble de racines positives 
par rapport a A. Soient Wk le groupe de Weyl pour Ak et wk le seul element 
dans Wk tel que wk (Aj) = — A^-. Alors il est clair que A = — iu^A — p € So et 
— (A + p) = wk-X, done 7r 9A (e) = tt Wk .\. Or tt Wk .\ = ir\. Done on peut realiser 
tt\ par j ?A (e) avec A = -wjfA — p. 



6.4 Application de 16.31 a la decomposition de h\\b (et de 

7*a|bi) 

Maintenant on revient sur G = SU(2, 1) et on reprend toutes les notations 
des chapitres precedents qui concernent G. On se donne A € it* correspondant 
a une serie discete tt\ de G. On suppose, comme il est loisible que A^" est l'un 
des At, j = 1,2,3. 

Dans notre situation, on peut prendre p + et p_ de la section precedente 
comme 



P+ 




Y 



Y e M la ( 
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p- 



X 




X e M a ,i(C) 









o) 



X e M 2 ,i(C), y e Mi j2 (C) ^ est le complexifie de p 



ou pc = 

Soit e = p+ © tc- On verifie facilement que l'ensemble de racines positives 
A + = A~l defini dans le chapitre 3 est tel que A^- = a 12 et p + = ® al£l \+Q a - 
Par suite, p = a.32 et la symetrie s\2 par rapport a la racine ct\2 est Pelement 
dans W K tel que si 2 (Aj) = -A£. Done si A+ = A+ (j E {1,2,3}), d'apres 
ce que Ton a vu, tt\ = 7r 9A (e), avec A = — si 2 A — a3 2 . Or a?3 2 = si 2 (ct3i), done 
A = — si 2 (A + CK31) et on en deduit que V^ = V-\ = Va+ Q31 . 

Cependant on a aussi p+ffi* c = f>+©ftc, ou f) + = C(£q +j£i)fflC(5-i£ 2 /2). 
On en deduit que t bl = b+ (resp. e& = f)_|_ © mc) qui est consideree comme une 
sous-algebre de (bi)c (resp. be ), avec n K,Z" triviaux, "V = V\" dans lequel 
Paction de e&i provient par restriction de celle de e (resp. avec "K = M", "Z" 
trivial, n V = V\" dans lequel Paction de e& provient par restriction de celle 
de e) verifient les "hypotheses de Hersant". Comme G = KB\ = KB, on voit 
alors que le complexe de Hersant C*(e, Va, K, G) peut aussi s'interpreter comme 
C*(eb 1 , Va, Bi) ou C*(e(,, Va, M, £?), et que les espaces de cohomologies sont les 
memes 



H^(c,V A ,G) =H^(t b ,V A ,B) = H^(t bl ,V A ,B 1 ), 

chacun d'eux fournissant la restriction de la representation n\ — 7r 9A (e) au sous- 
groupe correspondant. Done "k\\bi (resp. tt\\b) est Paction de B\ par transla- 
tions a gauche dans H qA (e bl , Va, B{) (resp. H qA (c h ,V\, B)). 

Notons £ la representation de p + (£>%c dans V^ = Vx+a 31 definie par £| p+ = 
et £|t c = Ta = t a+q 3 i- On note £|f, + encore par £. On designe Pespace dans 
lequel T_ (resp. T + ) agit par H_ (resp. H + ), et Hf° (resp. ) le sous-espace 
des vecteurs C°° de T_ (resp. T + ). Pour q\ = 0, 1, 2, definissons 



{S±) qA ■A^{t )+ )* ®V x+a31 ®H£ — > A« A+1 (f, + )*®V A+Q31 ®H£>, 

le cobord standard de Hochschild-Serre pour le f)+-module Va+ Q31 <8> H± , ou 
Paction de t)+ dans H± est induite par T±, mais celle de t)+ dans V\+ a31 
est £ + (tr ad( )1 ).id/2 (non pas simplement £). Soit (6±) qA * Padjoint formel 
de (S±) qA tel qu'il est explicite dans [11]. Alors il est clair que le complexe ci- 
dessus n'est rien autre que le complexe de Hersant C*(tb 1 , Va+ Q31 , -Bi, T±) mais 
pour lequel Paction de t bl = fj+ est £ + (tr adbJ.id/2. Notons alors fy q ± = 
kcr(<5±) gA nker(<5 ± ) 9A * et f> ± = & qA=0 tf ± A . 

Maintenant, considerons le (et,, M)-module V\+ a31 , ou Paction de M dans 
Vx+aai est induite par celle de X, mais Paction de et, dans Va+ Q31 est £ + 
(tr adt,).id/2 (rappelons que on a deja defini le e- module £ plus haut, ici on de- 
signe £| Cb encore par £). Done a partir de ce module, on peut construire le com- 
plexe de Hersant C*(et,, V\+ a3 i > M, B, T m ,±), ou T m> ± est la representation uni- 
taire irreductible de B que Pon a deja definie. Puisque T m> ± = cr m ©T± qui pro- 
longe T±, et (e^/mc = f)+, on deduit que le "ker(<9f<-) nker((5i<-)" (pour la nota- 
tion, voir le "Rappel de la theorie de Hersant") pour C*(c(,, Vx+ a3 i , M, B, T m ,±) 
n'est rien d'autre que (S)±) a _ m , ou pour m £ Z, (i^-t)^ designe le sous-espace 
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de fj± constitue des vecteurs de poids a m pour la representation Ad* ®T\ +a31 <g> 
f± de M. On note (fi±)% h m = (£±)a m Hi^ A . 

Rappelons que puisque = (j € {1,2,3}), on a tt\ = n qA (t), avec 
A = — S12A — CK32- Maintenant on enonce le premier theoreme de cette section. 

Theoreme 6.7 

(i) 7r A | Bl = 7r* A (e)| Bl = dim(£ 3A )T + ffi dim(^« A )T_ 



M ^a|b = 7r 9A (e)| B s £ [dim((i5_)^)T m!+ edim((i5 + )^)T TOi _] 

Demonstration. On va d'abord montrer (i) : Puisque i7 9A [tb 1 , Va, -Bi) est B\- 
invariant pour on peut le desintegrer par la decomposition de Plancherel, 

autrement dit 

H 9A (e 6l ,F A ,Bi)^ ]T H OT ®Hom Bl (H ff ,# 9A (e bl ,VA,£i)). 

Ou B\ d designe l'ensemble des series discretes de B\, H T est l'espace dans 
lequel it agit et Homsj (H w , H qA (t\ Jl , Va, -Bi)) est l'espace des operateurs d'in- 
trelacement entre H,r et H QA (cb 1 , Va, Bi). Dans notre cas, B\ ne possede que 2 
series discretes : T_ et T + dont l'une est la contragrediente de l'autre. En effet, 
dune part B\ a uniquement deux orbites coadjointes ouvertes, Q + et f2_, et 
d'autre part, on verifie facilement que la disintegration de la restriction de T + a 
N ne fait intervenir que les representations de caractere central expti^ l— ^ e iat 
avec a > 0. Pour decrire concretement l'espace Hom^ (H^, H qA (eb 1 , Va, Bi)), 
on peut suivre la methode de Schmid pour les groupes de Lie semi-simples ( [30] 
), sauf que dans notre cas, il faut faire un ajustement concernant la fonction mo- 
dule, puisque le groupe B\ n'est pas unimodulaire. En fait sous l'identification 
de Plancherel 

L 2 (Bi) = (g> HttV, ou 7r v est la representation contragrediente de it, 

la differentielle de Taction de B\ dans H T v ne correspond pas a Taction reguliere 
a droite R (dans L 2 (Bi)), mais correspond a R — (tr adbJ.id/2, et le reste est 
explique dans la section 5 de [11]. 

On peut demontrer (ii) similaircment, et il suffit de remarquer que la repre- 
sentation contragrediente de T mj ± est T_ mj ^. □ 

Remarque. II est clair que dim(Jo^) = ^ mgZ dim((io±)^) 

Maintenant, on commence par traiter les series discretes ni holomorphes ni 
anti-holomorphes, sauf indication contraire, on garde toutes les notations concer- 
nant G — SU (2,1) dans les sections et chapitres precedents. Supposons done 
que tt\ est une serie discrete ni holomorphe ni anti-holomorphe, e'est-a-dire que 
A correspond a A^ : \{H 12 ) £ N+ et X(H 13 ) 6 N+ avec X(H 12 ) > X(H 13 ), 
on peut verifier facilement que dans ce cas, qa = 1. D'autre part, puisque 
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fo(H) = X(H 12 ) et f (Z) = 2X(Hi 3 ) - A(iJi 2 ), on deduit facilement que A 
correspond a Af si et seulement si f a (H) e N+. fo(H) + fo(Z) £ 2N+ et 
|/o(-ff)| > \fo(Z)\. Dans la suite on va exprimer les resultats concernes en fonc- 
tion de f (H) et f Q (Z). 

On va d'abord construire le systeme differentiel ordinaire (d'ordre 1) sur 
]0, +oo[ pour chaque to g N : Si to ^ fo{H), a 2f (H) fonctions inconnues, 
et si ^ to ^ fo(H) — 1, a 2to + 1 fonctions inconnues. Plus precisement : 
si to > fo(H), le systeme est le suivant : 

(y±)'(t) = r 1 4±+t- 2 S±+i- 3 C'±) 2 ;±(t) (ie]0,+oc[) (£>±, m^f (H)) 



l m,2f {H) 



(*) J 



A± - 

Am 



A 



A ± 



.4 



m,(/o(#)-2) 



avec r, 



m m 



+ _ f„(Z)-fa(H) + _ , f (Z)+f (H) , , 



A~ = 



_( n+ l + MhAM) V2»(n+1) 
-V2i{f (H)-n-l) (n + l+ MZ) - MH) ) 



, 0<n</ (i/)-2 



■ fa(Z)+f Q (H) 



n-1) -V2i(n + 1) 



V^i(/o(H)-n-l) (n + 1- ACWoW ) 



< n < fo(H)-2 



( B m,0 



Bit = 



D 



m,f (H) 



1 J 



avec 



±1 



<»H ±2(TO-n) 7 )• 0<-</oW-l 



et 
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c, 



c 



± 



-1 
1 



C m,f {H)-l J 



, < n < f (H) - 1 



Et si ^ m ^ fo(H) — 1, le systeme Z?^ est le suivant : 

= (^^™+*" 2 ^+*" 3 ^)t/± (t) (t e]0, +oo[) < TO < /o(ff)-l) 



ou 



V a m,2m+lW / 



/ r d 



.4 



771,0 



/1 ± / 

m , m — 1 / 



avec r_ 



MZ)-mh) + _ . MZRM^h „ t 
2 I'm V 2 ' 



-(n + l+ /°( z )~/o(g) ) V2z(n + 1) 

m ' n { -V2i(f (H) - n - 1) (n + liMbM; 



. < n < m — 1 



j -I 



avec 



( /o(z)+/o(g) _ n _!) -V^i(n+1) 
V2i(f (H) - n - 1) (n + l-M£l+M£); 



5; 







m,m — 1 



, < n < TO — 1 



±1 



±2(m-n) 



/ 

< n < to- 1 
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et 



c; 



avoc 



-1 o 
o 1 



c- 



< n < m — 1. 



-i 7 



Definissons alors 



- {l/m solution de D±; J 



f 



(it < +oo 



Maintenant on enonce le deuxieme theoreme de cette section : 

Theoreme 6.8 Pour ir\ ni holomorphe ni anti-holomorphe avec fo(H) G N + , 
f (H)+f (Z) G 2N+ et |/ (£f)| > \f (Z)\, on a que 



m=0 



[3m - i2MafcM£)l ] 



dim((D+)°°).T 



et 



m=0 



-(3m+ 



/QiZ)-3/ (H) 



/+C 



)]," 



7TA 



Bl = 2 dim ((^)°°) T +0 E dim ((^)°°) T - 



\m=0 



\m=0 



Remarque. Puisque dim((£>^)°°) ^ 2N X , on deduit surtout que tt\ est in- 
admissible. 



Demonstration. D'apres le theoreme precedent et la remarque qui le suit, il 
s'agit de montrer : 



Pour m G N et I = ±(3m - i£Z!ii£l^M£i2) 



(3/ (iQ±/o(Z)) - 
2 

dim((i5 T )J 1 ) = dim((D^) 00 ) 



et pour les autres I G Z, 



dim((J5±)i,) = 0. 



On va d'abord traiter (ij.) 1 = ker(5_) 1 n kcr Notons fTi = S,Z X = 

-E 2 /2,X 1 = E'Jy/2 et Yi = E x /V2, alors dans bi = a © n, [X X ,Y X ] = Z x , 
[H X ,X X ] = X x , [H X ,Y X ] = Yi et = 2Z X . Notons J = H x + iZ x , et 
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Ji = X\ + iYi, alors CJo © CJ± = f)+. Done si on note ipo, tp\ la base duale de 
Jo et Ji, tous les elements dans A 1 (l} + )* <E> V\+ a31 <E)H^ s'ecrivent sous la forme 
<Po <S> vo + <Pi ® t>i avec uo, «i G Va+ Q31 §5 H^, et on peut verifier directement 
que les equations 

(6-)i((p <g> u + ¥>i <8 "l) = dans A 2 (f) + )* ® Vx+ Q31 ® H!° 

(<S_)*((^o <8> wo + <?i <8 Vi) = dans V\ +Ct31 ® H!° 
sont equivalentes a 

Jq.Vi = Ji.Vq + Vi 

et 

J *.u + Jl-vi =0. 

Dans les 2 dernieres equations, Jo, J\ sont en tant qu'operateurs dans Va+ck 31 ® 
H^°(par rapport a la representation ( £ + (tr ad ).id) ® T_) et Jq , J^ sont leurs 
adjoints formels respectifs. Done ker(<5_)i nker est l'ensemble des elements 
<A) ® v o + fi ® w i qui verifient les 2 dernieres equations. Dans la suite, on va 
determiner explicitement les actions de Jo, Ji et Jq , Jj* dans V\+ asl <S) Ht^° . Pour 
ceci, il sufHt de determiner celles dans V\+ a31 et dans repectivement. On 
va d'abord determiner leurs actions dans H^°. 

On a deja vu que T_ = Indjy p(n_ , L , N) (voir la section RTTj) , ou p{ ri- , L , N) 
est une induite holomorphe. 

Comme n_ = —.El) on a "-(Ai) = ^-(^i) = et ri-{Z\) > , sans 
perte de generalite, on peut supposer que n_ = Z* (par rapport a la base duale 
A*, Y*, Z{ dans n* ), car T_ = Ind#V(n_, L, iV) = Ind^ p (rn _ , L, AT), 
Vr > 0. Soit Ji un element de l'espace de la representation p(ri-, [_, A/j, et 
,g = cxp(xX 1 +yY 1 +zZ 1 ) E N. II est clair que Fx(g) = e~* 2 Fi(cxp(xAi 
(rappelons que par definition VA € L, on a A * J\ + ifo(X)Fi = 0). On peut 
done identifier F\ a une fonction C — > C : x + iy i — !• J 1 i(cxp(a;Ai + yYi)). 
Pour simplifier, on la note encore F\, et sous cette identification, par des calculs 
directs, on peut obtenir que X\ * Fx = + §J/-Fi, Y\ * F\ = — jxF\, et 
Z\ * F\ = —iF\. On en deduit que 

(i +i h )Fl + \ {x+iy)Fl=Q (A) - 

On peut verifier que Fq(x + iy) = e~^ x +v ) est une solution particuliere de 
(A). Puisque Fo ne s'annule en aucun point, F± s'ecrit sous la forme F\ = F^.Fq 
avec F2 holomorphe (car (J^ + ij^)i*2 = 0). Done p(n_, [_, N) peut se realiser 
dans l'espace hilbertien 

Hjv.z* = If; F est holomorphe et J \ F(uj)\ 2 e~ i ~^~duj < 00 1 , 

oil u> = x + iy. 
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Notons Wan.z* l'espace hilbertien ou agit Ind^ Ar p(n_, l—,N) = T_ et soit 
/ £ Man.z*- Vu que AN/N = A, f est une fonction de AN dans Hjv,z* qui 
verifie 

f(gn) = p(n-,l-,N)(n- 1 )f(g),et [ \\f(g)\\ 2 dg < oo. 



II est clair que le groupe R*i_ (pour la multiplication) est isomorphe k A = 
cxpRHi par 1 1 — > cxp(logi)i2i, et la mesure de Haar pour est ^ (ici est 
la mesure de Lebesgue). Done on peut identifier Wan,z* a l'espace hilbertien 

{/ : R*, x C — > C| / est mesurable et pour presque tout t £ i — > f(t,ui) 
est holomorphe et f \f(t,uj)\ 2 e~^~—cLj < oo > . 

JR* + xC t J 

On note cet espace encore Man,z* et ttan la representation associee (qui est 
equivalente a T — ). D'autre part, on voit facilement que / £ Wan,z* correspond 
a une application H> H(n_, l_, iV) (voir la section [OJ, avec f(t,oS) = 

(j)(t)(g).e^ x2+y2 \e lz ou u = x + iy et g = cxp(xXi + yYi + zZ\). Puisque 

exp(— uHi). exp(logi-ffi). exp(xXi + yY\ + zZ\) 

= exp(log(e""i)i?i). exp(xXi + yY x + zZ{), 
on deduit facilement que pour / £ Wan,z*, 

(^(expCuffiJJ/^w) = f(e~"t,u). 

Done si de plus / £ M.^ N z ,, on a (diVAN(Hi)f)(t,uj) = —t^{t,uS). 
De meme, comme 

exp(— uZi).exp(logti?i)exp(a;Xi + yY\ + zZ\) 

= exp(logtffi) exp(xXi + yY\ + (z - ut~ 2 )Zi), 

onobtientque (7rA/v(exp(iiZi))/(£,a;) = e m4 f(t,ui) . Done (dKAN{Zi)f)(t,oS) = 
i i- 2 /(£, W ) pour / e HX^. " 

De la meme fagon, on peut obtenir que 

(7TAJv(exp(uXi + vY 1 ))f)(t, u) = e O~M— ^-^("W)) f( t) u _ t - l ( u + iv)). 
Done 



1 (9f 

{d-KA N {x 1 )f){t,u) = -t-VCt.wJ-r^^w) 

(d7rA W (yi)/)(t,w) = --t-V^w) - l £- 1 ^(t,^). 
(d7r AJV (J )/)(t,a;) = -i- 2 /(i,w) - t-^rfow) 

(dK AN (Jl)f)(t,u) = f^w/ftw). 

Avant de determiner Jg et J*, on va d'abord decrire Paction du groupe 
compact M dans Man,z*- On a vu que (v(m)ip)(x) — ip(m~~ 1 xm) pour tp £ 



et 



Done 
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B.(h , b x ,AN) et m £ M. On a aussi vu M = cxpIRW^, avec exp &d(-wW).X 1 
= (cosw)Xi + (sinw)Yi et expad(— wW) Y\ = — (smw)Xi + (cos w)Y\, ou 

/ i/3 
VK= -2i/3 
\ i/3 

est defini dans le chapitre 3. 

Done si m = expwW et g = exp(hHi). exp(a;Xi + yY\ + zZ\)), alors m~ 1 gm 
= exp(hH\). exp((a; cos w—y smw)Xi + (x sin w+y cosw)Yi+zZ{). On en deduit 
que pour / € $$-an,z*, 011 a (m.f)(t,u)) = f(t,u!eA w ^). Done les elements dans 
y&AN,z* qui sont de la forme f(t)uj n sont des vecteurs poids de M, (m.(f(t)uj n ) = 
(f(t)uj n ).e mw ), et le sous-espace engendre par ce genre d'elements est dense dans 
H.an,z*- En fait, on peut verifier directement que (f(t)uj n , g(t)u> m ) = sin ^ m 
ou (, ) est le produit scalaire de H.an,z* , et tout element f(t, to) £ Wan,z* s'ecrit 

= Ei"S/n(*K. a 

Puisque L, |w| 2 "e ~ dui — 2ir.2 n .nl, on en deduit que 



g/„(*K; £(2".n!. / JM^dt) < oo 



N.ZT 



k ra=0 ra=0 



Maintenant on va calculer Jq et J*. Comme tt^at est unitaire, pour tout 
X G fjffin, on a d7ryuv(X)* = —d-K A N(X). Done on en deduit immediatement 
le calcul de Jq et J* : 

d 

Jq = diTAN (H\ + iZi)* = dn AN (-H 1 + iZ\) = -t~ 2 + t— 

J* = dn AN (X 1 + iY 1 )* = dTr AN (-X 1 + iY t ) = M- 1 -^. 

Maintenant, on va calculer Taction de Jo, Ji, Jq et J* dans V\+ a31 . Les ope- 
rateurs sont induits par la representation £ + (tr ad). id de f) + = CJq + CJj 
dans Va+ Q31 . D'abord, comme dans la section 16.21 on peut determiner que 
dim(Vx+«3i) = fo(H) (rappelons que f (H) = -iX(iH 12 ) = X(H 12 )). D'autre 
part puisque I = su(2) © z(t) ou z(t) est le centre de {, et les representations 
irreductibles de su(2) sont determinees par la dimension, et z(t) agit scalaire- 
ment. II est bien connu que Ton peut realiser V\+a 3 i dans C[wi,o;2] l'espace 
des polynomes complexes homogenes (2 variables) de degre fo(H) — 1, et le 

produit scalaire est defini par (P,Q) 1 = J c2 PQe~ U 1 2 2 " duj\duj 2 . No- 
tons v n = w?.« 2 y ° (fl)_1 " n) (n = 0,l..,f o (H) - 1). Alors r A+ct31 (H 12 )v n = 
(fo(H) - I - 2n)v n et T\ +am (E 12 )v n = -nv n -i (par convention, V-i = 0). 
Rappelons que 

/too 

H 12 = -f 
\ 

et 

Ei 2 = 
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Notons 

/ 1/2 
Z' Q = 1/2 
\ 0-1 

alors CZg = z{t) c . Done agit scalairement dans Cfwi,^]- Puisque = 
Hxa-Hu/2 et (A + a 3 i)(#i3 - = (\ + a 31 )(H 13 - H 12 /2) = ^-3/2, 

on note cette quantite a, T\ +a . il (Z[ ) ) = a. id. 
Puisque 

Jo=H 1 + iZx =Hi- iE 2 /2 = H 13 + 2E 31 

avec 

Hl3 G t C , £31 G p+, 

on a 

£(Jo) = TA+a 3 i(- ff 13)- 

Or, ffi 3 = ^ + done £(J ) = T A+ a 31 (^f- + Z£). D'autre part, par des 
calculs directs, on voit que tr ad = 4ffj*, ou H* est l'element par rapport a la 
base duale H*, X*, Y*, Z* dans bj, et H*(J ) = 1. Done on en deduit que 

Mvn) = ((£ + 2i/*id)(J ))K) = ( /o(g) 2 + a + 2)v n . 

De meme, 

Ji = E[/V2 + iE l /V2 = -V2iE 12 - V2iS 32 

avec E12 G tc et E 32 G p+. Done £(Ji) = T\ +ol31 (—y/2iEo), or tr ad(Ji) = 0, et 
on a 

Ji(v n ) = -V2i(T\ +ol31 (E ))(v n ) = V2inv n -i. 

Par des calculs directs, on obtient que {v n ,v m ) l = si n ^ m, et {v n ,v n ) l = 
4 7r 2.2/o( ff )- 1 .n!.(/ ( J ff)-l-n)!.Donconen deduit que J * = J (car MH)-i-2n _ 
a + 2 G R ), et JJ (t;„_i) = -V2i(f (H) - n)v n . 

Maintenant, on peut calculer ker(5_)i n ker(<5_)i*. Mais avant d'effectuer 
les calculs explicitement, on remarque que les vecteurs v n constituent une base 
de vecteurs propres pour le groupe compact M dans Va+ Q31 . Puisque W = 
1H12/2 — iZ^/3, on obtient que 

cxp(wW)v n = e lw[ 2 3> Vn = e lwK » n) v n . 

Dans la suite, on va calculer ker(<5_)i H ker . On a vu que ker(5_)i n 
ker(5_)i* est constitue des elements ^o^Mo+^i®/-*! avec/i , /ii G Va+ Q31 <5g)M2? 
qui verifient 

Jo.^i = Ji-Vo + Mi 

et 

J *.^o + = 0. 

On peut ecrire fi = Yln=o w « ® et /i X = J2n=o _1 w « ® ^« avec 
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Done, on a J .^i = E£°=o 1 w « ® ■MV'n) + Y,n=(P 1 ^o(«n) <E> tpn- D'apres 
ce qui precede, on obtient que 

T /0 V^ _1 ^( f -2, , /o(g)-2n + 2a + 3 , 



at 

71 = 



De meme 



/o(ff)-l _ fo(H)-l 

Ji.Ho = 22 v n ®t~ 1 uj.(f) n + V2i u„_i®n^„, 

ri=0 ri=0 



done 



/o(ff)-l 

Ji./i +^i= X] u ™ ® i^^-^n + VVi + V2i(n + l)0„ + i). 

Ici par convention <^_i = <t>f (H) ~ V'/ofi?) = V'-i = 0> e ^ cette convention 
s'applique dans toute la suite de la section. Done on en deduit que l'equation 

Jo-A*i = Ji-Mo + Mi 

est equivalente a 

f-2/ , /o(g)-2n + 2a + 3 , , /- 
* V^i H ^ ¥ ) n = * w.0„ + + V2i(n + 

pour < n < fo(H) — 1, e'est-a-dire 

/ 9 fo(H) — 2n — 2a + 1 , , , , r- , „ , , 

~ "a? + ( + — 2 ^" = *~ ^" + (n + 

De la meme maniere, on peut obtenir que 
et 

h(H)-l f (H)- 
n=0 n=0 

Done 

J *.^o + Jj-fi = 

est equivalente a 



MB) - 


- 2n + 2a + 3 




2 < 


-1 




V n +1 < 


8 (/o(F) - 1 - 







fo(H) 


- 2n + 2a + 3 



pour < n < f (H) - 1 



On ecrit (j> n = J2tn=o 8 ra,"( f ) w '" et i>n = El™o b miTl (t)uj m , <n < f {H) 



1. Done 

fli/j + °° 

m=0 
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( _ t _ 2+ /o(g )-2„ + 2 tt + V _ g ( _ t -, + /.(H)-2n + 2 tt + 1 )Vn(t) 

m=0 
+ 00 



ct 



\/2«(n + l)0n+l = X! + l) a m,n+l(0° 

Done de (*), on deduit que 



m=Q 



-tb'(t) + (-t- 2 + 



fo(H) - 2n + 2a + 1 



V2i(n+l)v n +iW =0 



)b m ,n{t) — t 1 a m _i i „(t)- 
(>) 



pour m > 0, < n < fo(H) — 1. Ici par convention a_i ; „ = 6_i jn = a m ,f (H) 



Jo(H) 



et cette convention s' applique dans toute la suite. 



De meme, on peut obtenir de (**) que 



f (H) -2n + 2a + 3 



)^m,n (^) 



V2i(fo(H) - n)6 m> „_i(t) + 2^ 1 (m + l)6 m+ i,«(*) = (»)• 

Puisque la variable t est strictement positive, de (>) et (»), on deduit que 
pour m fixe, on a 

&m-n,/ (-E0-l-n(*) = _ * 2a m-n-l,/ (ff)-l-n( t ) + 



( t _ 3| 2n-/ (g) + 2g + 3 



t 1 )b m ~ n ,f {H)-i-n(t)-t 1 V2i(fo(H)-n)a m - n j ( H )- 



et 



a 



m-n-l,/ (-H> 



-!_„(*) = * 1 \/2i(l + n.)& m _„_i,/ (H)_ 2 _„(t)+ 



2n-/ (F) + 2a + 5 , 



t )am-n-lJa(H)-l-n{~t)-'2't (m-n)b m ^ n j ( H )-l-n(t) 



Or a m j a(H) = o m ,_i = 6 m ,_i = b mJa{H) = 0. Done pour chaque m > 0, 
on obtient un systeme differentiel D~ d'ordre 1 comme explique ci-apres. Si 
771 ^ fo(H), D~ n a 2/q(H) fonctions inconnues, et si ^ m ^ fo(H) — 1, D~ 
a 2m + 1 fonctions inconnues. Plus precisement : si m > fa(H) on obtient le 
systeme d'ordre 1 de 2fo(H) fonctions inconnues suivante : 

(y m )'(t) = (t- 1 A m + t- 2 B m +t- 3 C m )y m (t) (t e]0, +oo[) (D-, m > f (H)) 



( b mJo ( H) _ 1 {t) \ 
a m -i,f (H)-i(t) 



y m (t) = 



°m-nJ a (H) 
l>m-n-l,f (H)-l- 



-!-»(*) 
-n(t) 



b m -(f (H)-l),o(t) 
V a m-/ (H),o(*) / 
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et A^, B~ et C~ sont les matrices que l'on a definies auparavant. 

Si ^ to Ni — 1, on obtient le systeme d'ordre 1 de 2m+l fonctions 
inconnues suivante : 

(y m )'(i) = (t- 1 A-+t- 2 B-+t- 3 C-)y-(t) (t e]0, +oo[) (D m , < to < /„(#)- 



ou 

"m-lJ (ff)-lW 

&m-ra,/ (ff)-l-n(*) 
2/m(*) = a 'm-n-l,fo{H)-l-n{i) 

h,f (H)-m(t) 
ao,f (H)~m{t) 
V & 0,/ o (H)-m-l(i) / 

et A^, B~ et C~ sont les matrices que Ton a definies auparavant (pour cette 
raison-la, on appelle les systemes encore D^). 

On voit facilement que les systemes (>) et (») sont equivalents a D~ (to ^ 
0). Le point important est que les systemes D~ sont deux a deux independants 
et toute a m . n € C°° ( la meme chose pour b m ^ n ) est impliquee dans un et un 
seul systeme D~ . 

D'autre part, remarquons que [W, Jo] = et [W, J\] — iJ\. On en deduit 
successivement que exp(wW).Jo = Jo, exp(wW). J\ = e lw .Ji, exp(wW).tp = 
tpo et exp(wW).tpi = e~ %w tp\. D'apres ce qui precede, il en resulte que 

exp(wW).(ip <£> v/ (ff)-„-i ® a m „ n _ 1Jo{H) _ n _ 1 (t)uj m - n - 1 ) = 



et 



,-,,.f m (3fo(H) + / (Z)) . 



exp(wl¥).(J* g> v MH )-n-i ® 6 m _„ Jo(ff) _„_ 1 (i)w m ") 



(3/q(H) + /q(Z)) 



Vl ® U/o(i?)-n-l ® & m-n,/o(ff)-n-l(i)W 

Pour to e AT, designons par l'espace forme des vacteurs 

ATi — 1 

(^0 ® Uy o( H)_„_i (8 a m _ n _ 1:/o(ff) _„_ 1 (i)w m ~™" 1 



+</?! ® U/ ( ff )_ n _i ® & m -„,/ (H)-„-l(t)w m ") 



ou, a m _„_ 1Jo(H) _„_ 1 (t), 6 m _ ni/o(i3 - ) _„_ 1 (i) sont solutions de D ro avec to > 0. 
Defmissons egalement les espaces 



9m e 



IffmWII 



■dt < 



4G 



Rappelons que Ton a deja defini 



(D-)°° = |y m solution de D~; J ^ ^ m j^ dt < +00 



Alors il est clair que dim(F m )°° = dim(£> TO )°°. D'autre part, d'apres ce qui 

)± 
2 

dim((i3_)i i ) = dim((F-) °) 



precede, on deduit facilement que pour m G N et I = (3m — ( 3 /o( g )+/o( z )) ) 



et pour les autres ( e Z, 

dim((45-)i 1 )=0. 



II reste done a traiter = ker(<5 + )i n ker (5 + )*. Comme pour (Sj-) 1 , on 

peut obtenir que ker(<5+)i Hker (<5+)* est constitue des elements i^o^Mo + Vi ®Mi 
avec MOjMi € V\+ Q31 (8 H^f qui verifient 

Jo-Mi = A-Mo + Mi 

et 

Jo -Mo + Ji-Mi = 0- 

Ici, comme dans (fi-) 1 , Jq = Hi + %Z\ et J\ = X% + iY\, et Hi, Zi,X\,Y\ sont 
comme ceux que Ton a definis auparavant. Jq,J* sont leurs adjoints formels 
respectivement. D'autre part, puisque T + = T_, en identifiant H + a H_ (done 
a Hff), les operateurs J = H x + iZi et Ji = X x + iY x dans sont 
equivalents a H\ — iZ\ et X\ — iY\ respectivement dans H2° (et Jp*, Jj* aux —H\ — 
iZi et — Xi — iY\ respectivement). Dans la suite on va garder ces identifications, 
et travailler dans V\+ a31 <E) . 

On ecrit /i = X)£°Jo 1 et /^i = Y,n=o 1 v n ®ip n avec </>„, ip n e Hff , 

ou les v n € V\+ aal sont ceux que l'on a definis auparavant. 
On obtient que 

j * r / ^ MH)-2n + 2a + 3 

Jq.H1 = 2^ V n ® ( _ *~57" + t V>« + ^ V'n) 



<9t 

n=0 



et 



/o(ff)-l ^, /i(fl)-l 

n=0 n=0 



Done 



h{H)-l g ^ 

Ji.Mo+Mi= X! u ™ ® (~ 2<_1 "^ i + ^™ + + l)^n+l) 



<9w 

n=0 



ici par convention 0_x = 4>f (H) = ipf (H) — "0-1 — bien entendu. Done on en 
deduit que l'equation 

Jo-Mi = Ji-Mo + Mi 
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est equivalente a 

dip n u _ 2 f {H) -2n + 2a + l , r i^„ /r . , 

-t——- + {t H V ; n = -2i — h V2i(n + l)<p n+ i (1 ) 

or 2 ouj 

pour < n < f (H) - 1. 
De meme, on a 

J o -mo = 2^ w ™ ® ^ 2 ' 

n=0 

et 

/o(H)-l _ /o(H)-l 

J*./J,l= ^2 v n ® -t^UJ.Ipn ~~ 1>n+l ® (fo(H) - 1 - n)^n- 

ra=0 n=0 

Done 

Jo./io + •JT-Mi = 

est equivalente a 

+-i / fii-(t(Ti\ \i i i ^-2 i /o( g ) - 2n + 2a + 3 , 
-i u.ip n -V2i(fo{H)-n)ip n -i+t-Qj-+(t H )<p n = (2 ) 

pour < n < /o(i?) - 1. 

On ecrit <f> n = El=o VnW"" 1 et V>« = Em=o fe m,n(i)^ m , < n < fo(H)- 
1. Alors. de la meme maniere que dans l'etude de (ker<5i) p|(ker<5*), on obtient 
de (!') et (2') que 



a' m> „(t) = \/2it- l {Ni - n)6 m ,„_i- 

, o JVi — 2n + 2a + 3 . , . 9 , . . . . 
(t~ 3 + = )a m ,n(*)+* 2 b m -i, n (t) (<) 



et 

?C tn (t) = 2(m + l)t" 2 a m+ i, n (t)+ 

{t~ 3 + — t- l )b min {t) - V2i(n + l)r 1 a m , n+ i(t) («). 

Done, comme dans l'etude de ker(J_)i n ker(5_)*, pour chaque m > 0, on 
obtient un systeme differentiel D+ d'ordre 1. Si m ^ iVi, a 2N\ fonctions 
inconnues, et si ^ m ^ fa(H) — 1, £)+ a 2m + 1 fonctions inconnues. Plus 
precisement : si m ^ fo(H), est le systeme suivant : 



(yt)'(t) = (r x A+ +t- 2 B+ +t- s C+)y+(t) (t e]0, +oo[) m £ /o(F)) 

ou 



bm— n — l,7i(^) 

am-(/o(H)-l),/ (J?)-l(*) 
V h rn~f (H)J (H)~l{t) J 
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et les , C+ sont les matrices que l'on a definies auparavant. 
Si ^ to ^ fo(H) — 1, D+ est le systeme suivant : 

(y+)'(t) = (i- 1 J 4++i- 2 i?++<- 3 C+)y+(i) (te]0,+ooD < to < /„(#)-!) 



/ a„ h0 (t) \ 
b m -i,o(t) 



Q"m~n,n (^) 

bm— n— l,n (^) 

Ol,m-l(t) 
&0,m-l(i) 



/ 



et les ^4+,_B+,C^ sont les matrices que Ton a definies auparavant (egalement 
pour cette raison-la, on appelle les systemes D^). 

Comme dans ker(<5_)i n ker (<$_)*, on voit facilement que les systemes (<)et 
(«) sont equivalents a D+ (m ^ 0). De plus les systemes D+ sont deux a deux 
independants et toute a m ^ n £ C°° (la meme chose pour 6 m ,„) et est impliquee 
dans un et un seul systeme -D+. 

D'autre part, il faut remarquer que puisque T + = T^, on a 

exp(wW).a m , n {t)Lo m = e~ iwm a m , n {t)uj m . 
Done on en deduit que 

exp(wW).(tp ®n n ® a m - n<n {t)u m ~ n ) = 

iw ( m I Uo(Z)-ZS {H)) . 

= e ™( m+ Vo®«n®a m _„,„(t)w m ™, 

et 

exp(wV^).(v?i ® w„ ® &m- n -i,n(*)w m_n-1 ) = 
Definissons les espaces 

'/o(B")-l 



ou, a m -n,n(0j ^m— n— x,n(^) sont solutions de avec to 0. Definissons ega- 
lement les espaces 



IffmWII 



et rappelons que Ton a deja defini 
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(Z>+)°° = fy m solution de £)+; ^ 11^^11 rff < +oo 



Alors il est clair que dirn((i r +)°°) = dim((Z?+ )°°). D'autre part, d'apres ce 
qui precede, on deduit facilement que pour m £ N et I = —(3m— QhLEhJoi^)} ) 

dim((J5 + )^ = dim((F+)°°) 

et pour les autres I £ Z, 

dim((55+)i i )=0. 



La demonstration est done bien achevee. □ 

Maintenant on va retraiter le cas series discretes holomorphes a l'aide du 
theoreme 6.7. On verra que non seulement on peut retrouver les resultats de 
Rossi- Vergne pour G = SU(2, 1) (theoreme 6.3), mais cette methode est parti- 
culierement simple pour traiter les series discretes holomorphes (et celles anti- 
holomorphes) de G. 

Supposons maintenant que tt\ est une serie discete holomorphe avec le pa- 
rametre de Harish- Chandra A qui verifie que A(i/i 2 ) £ N + et X(H 3 i) £ N+. 
On peut facilement verifier que dans ce cas q\ = 0. On a deja vu dans la sec- 
tion 16.21 que dire que tt\ est une serie discrete holomorphe equivaut a dire que 
fo(H) £ N + et fo{Z) + fo(H) est un entier pair strictement negatif. Dans la 
suite, on va exprimer les resultats en fonction de fo(H) et fo(Z). 

II est bien clair que kcr((5±) * = A°(h+)* <g> V\ +OC31 ® W±. Done f)° ± = 
ker (6±)o D ker (<5±)o* = ker (S±)q. On peut facilement voir que 

ker (<5±) = {fi £ V x+aal ® ffijf ; J of i = et J lf i = 0} , 

ici les operateurs Jo et J\ sont ceux que l'on a definis auparavant. 

D'abord, on va calculer ker(5_)o- Ecrivons /i = X^^Lo 1 v " ® <Pn avec cj) n £ 
Hff, et les v n £ V\+ a31 sont ceux que Ton a definis auparavant. Alors a l'aide 
des informations que Ton a eues pour les series discretes ni holomorphes ni anti- 
holomorphes, on obtient que les condition Jo/i = et Jifi = sont equivalentes 

M n 3 / (g)-2n + 2a + 3 ^ 

-t-gf ~ * <Pn-\ g ^" = ' 

et 

t~ 1 uj(j) n + s/2i(n + l)0„+i = 



respectivement. Ici, comme pour les series discretes ni holomorphes ni anti 
holomorphes a — — 3/2. Done en ecrivant 4> n = X)m=o a m,n(t)uj m , oi 

obtient de la premiere equation que a m ,n{t) £ <L-t 2 "e 2 . (Jr 



'■ l ^-dt 

t 
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Done £° = ker(5_) = 0. 

Maintenant, il reste a calculer J)5_ = ker(<5 + )o- Comme dans Sfi_, en identi- 
fiant H + a H_ , on obtient que 

( h(H)-l 

ker((5 + ) = <fi = ^ v n (8 0„ 



ou 0„ G verifient 



/(,(#) -2n + 2a + 3 



et 



_ 2t -i^!i + ^2(n + l)#„+i = 0. 

OU! 

Done, en ecrivant <f> n = X)m=o a m,n(t)u! m , on obtient de la premiere equa- 
tion que a m . n (t) £ Ct 0< >2 ™e ~ . et de la seconde equation, on deduit 
q ue <i>f (H)-i = o 0l / (H)_i et a m ,„(i) = \/2(n + l)^ "" 1 "^" 1 " ■ On peut veri- 
fier directement que si a m _i jn+ i (i) e O ° 2 ~ ' -(»+i) e -V, alors \/2(n + 

g Ct MH) t Mi) -"e-^. D'autre part, puisque est 
en entier strictement negatif, on a 



t 



dt < +oo. 



On en deduit done Sj+ = ker(5+)o = Cw„ = Vx+ a31 . Done d'apres le 

theoreme 6.7, on obtient exactement le resultat du theoreme 6.3. 



6.5 Etude asymptotique des solutions des systemes diffe- 
rentials 

Dans cette section, on va etudier le comportement asymptotique des solu- 
tions des systemes D^, on va d'abord traiter £>~ . 

En faisant un changement de variable z = 1/t, on peut transformer le sys- 
teme D~ n dans la section precedente en 

x'm(z) = {^(-A-J+i-B-J+zi-C-^xUz) ((£>-)') (ou x m (z) = y m (l/z)) 
II est clair que 

Jo z Jo t 

Puisque au voisinage de 0, le systeme (D^)' a une singularity de premiere es- 
pece, il est bien connu qu'au voisinage de 0, il existe une solution fondamentale 
X m (z) = U, n (z)z A ™z Nm , ou U m (z) est une transformation analytique en ( 
c-est-a-dire U rn (z) est analytique au voisinage de et U m (0) est une matrice in- 
versible ) , est une matrice constante diagonale qui est equivalente a la partie 
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semi-simple de — , et N m est une matrice constante strictement triangulaire 
inferieure. D'autre part, par des calculs directs, on voit que — est diagona- 
lisable et pour to > fa(H) (resp.O < m < fo(H)) , elle a fo(H) + 1 (resp. m + 1) 
valeurs propres positives et fo(H) — 1 ( resp. m ) negatives. En fait, par exemple, 
pour to > fo(H), les valeurs propre de — A^ sont I°iElzhl^l^ fo( H )+fo(z) 
sont positives et 



±\(n+l 



fo(Z)-f (H) 



y + 2{n+l){fv(H)-n-l) = 



± 



/o(g) + /o(Z) 12 ^ [{ fo(H)-MZ) V2 x f f (H) + f (Z) ^ 



-[(» + !)- 



-) 2 + 



pour < n < fo(H) — 2. Done on en deduit que le sous-espace que l'on note 

des solutions x m (z) de (DJ' telles que Jq + °° ^ z (fe converge au 
voisinage de est de dimension /o(iT) + l, si m > fo(H), et de dimension m + 1, 
si < to < fo(H). (Pour plus de details, voir les resultats de la section 9.2 de 
l'appendice qui nous ont ete communiques par C. Sabbah). 

Maintenant on etudie le comportement asymptotique des solutions au voi- 
sinage de 1'infini. Apres une permutation des coordonnees du systeme (D^)' 
(to ^ fo(H)), on reecrit 

(-D~)' : ZX m \z) = Z 2 [Cm + Z~ 1 Bm + Z^ 2 A m ]x m (z) 



avec 



/ b m j (H)~i{z) \ 



%m (^) 



■>m-lJ (H)-2 



&m-(/ (j?)-i),o(*) 

a m-l,fa(H)-l{ z ) 
a m-2,fa{H)-2{ z ) 

\ a m-f (H),o{ Z ) / 



Q 



-7 





h{H) 



ou 



I/ (H) est la matrice carree identite de taille fo(H), 

12 

Bm 

Dm — I 21 

B m 



12 21 

ou B m et B m sont des matrices carrees de taille fo(H) et on ne precise pas 
leurs formes, puisque elles n'affectent pas notre argument suivant. 



a; 
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ou les A m £ {1,2}) sont des matrices carrees de taille fo(H). Pour la 

meme raison, on ne precise pas leurs formes exactes. II est connu qu'll^existe au 
voisinage de l'infini, une unique transformation analytique formelle T m (z) de la 
forme 

/ 12 \ 

IfolH) T m (z) \ 
21 I 

T m (z) I fo{H) J 



T m (z) 




qui transforme (D m )' en (D m )' (c'est-a-dire qu'au voisinage de l'infini, toute so- 
lution Xm{z) = T m {z)y m {z), ou y~m{z) est une solution de (D m )'). Ici le nouveau 
systeme (D m )' est 

D' m ■ zy^'(z) = z 2 H m (z)y m (z), 



V H m {z) J 

(done D' m se divise en deux systemes independants) . Les T m J (z), H m (z) (i, j £ 

{1,2}) sont analytiques au voisinage de l'infini, et leurs coefficients peuvent se 

calculer par recurrence concretement (pour la procedure de calculs, voir les pages 

42 et 43 de l'ouvrage de W.Balser qui s'intitule « Formal power series and linear 

systems of meromorphic ordinary differential equations » ) . Ce qui est important 

11 22 

dans notre situation, e'est que H m (z) et H m (z) sont de la forme 

^"(z) = [I MB) + z- 2 G^ n (z)} 

et 

H m (z) = [-If (H) + z~ 2 G m (zj], 

11 22 

ou les fonctions matricielles G m (z) et G m (z) sont analytiques au voisinage 
de l'infini. Done on peut deduire que les solutions pour les deux petits systemes 



sont de la forme 



et 



zyZ' 03 (z) = z 2 H m (z)^ 3 (z) j = \,2 



Vm 1 ^) = exp (y)x m n (z) 



T 2 

'22/ n / \ 22/ \ 

y m (z)=exp( — — )x m (z) 



ou a^ 11 (l/z) et Xm 22 (l/z) sont les solutions de deux systemes de la premiere 
espece au voisinage de respectivement. D'autre part, il est clair qu'au voisinage 
de l'infini, les solutions de (-D~ )' sont de la forme 



y m (z) = T m (z) 



~ii/ \ 
y-m (Z) 

22/ x 

y m (z) 
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Done d'apres la forme des solutions fondamentales sur les systemes de la 
premiere espece (voir ce que Ton a fait pour etudier le comportement asymp- 
totique en des solutions de (D m )' . Pour plus de details, voir la section 9.2 de 
l'appendice), on deduit que le sous-espace que l'on note (E m )°° des solutions 

y m (z) de (Dm)' telles que J +o ° H^g^lll d z converge au voisinage de +00 sont 
de la forme 



Done (-E") 00 est de dimension fo(H). D'autre part, il est clair que dim(D~ )°° = 
dim((i?~) n(£'~) 00 ). Or vu que la dimension de l'espace des solutions de (D^)' 
est de 2/o(i/), on deduit que 1 < dim((D~)°°) < fo(H). De meme, pour 
< m < fo(H), on peut obtenir que dim((£ , ~)°°) = m. Puisque la dimen- 
sion de l'espace des solutions de [D m )' est de 2m + 1, dim(D^) 00 ^ m. Done 
surtout dim(D ") 00 = 0. 

De la meme maniere, on peut etudier le comportement asymptotique des so- 
lutions de D m . On peut obtenir que pour m ^ fo(H), on a que 1 < dim((D+)°°) < 
fo(H), et pour < m < fo(H), on a que dim((D+)°°) $C m. Done surtout 



D'apres ce qui precede, on deduit que X)m^o ^ m ((^m)°°) = +°°- Selon le 
theoreme 6.8, on a done 



Done d'apres le theoreme 5.4, on deduit que les assertions (i) et (ii) de la 
conjecture de Duflo sont confirmees pour (G, tt\,Bi), avec tt\ ni holomorphe ni 
anti-holomorphe. D'autre part dans la section 6.2, on a deja confirme les asser- 
tions (i) et (ii) de la conjecture de Duflo pour (G, tt\, B±), avec tt\ holomorphe 
ou anti-holomorphe. Done les assertions (i) et (ii) de la conjecture de 
Duflo sont confirmees pour (G,tt\, Bi) pour toutes les series discretes. 

6.6 Interpretation et application des travaux de Fabec et 
de ceux de Kraljevic 

Dans cette section, on va reetudier la decomposition de tt\\b pour tt\ ni ho- 
lomorphe ni anti-holomorphe a l'aide des travaux de Fabec et ceux de Kraljevic. 
En combinant les resultats que l'on a obtenus dans les sections 6.4 et 6.5, on 
arrive a decomposer explicitement tt\\b- 

Soit B = MAN le sous-groupe de Borel de G = SU(2, 1) que l'on a defini 
auparavant. Soit R p,a la serie principale de G — SU(2,1) par rapport a B, 
ou p G M (e'est-a-dire un caractere unitaire de M) et a € a£. Rappelons que 
R p,a est la representation induite par la representation de B de dimension 1 : 
man i-> exp((a + p) (log a)p(m)), ou m G M, a E A, n€ JV et p = |tr(ad| n ). 
Comme dans [20], on identifie M au reseau des formes lineaires / dans m* avec 
f(W) £ Z/3, et K au reseau des formes lineaires / dans t* avec f(W) £ Z/3 
et f(Hi 2 ) € N. On identifie egalement a a a(S) G C, ou S e a est ce que l'on a 
defini dans le chapitre 3. 




dim((D+)°°) = 0. 



TTAk =(+ TO )T+0(+ TO )T_. 
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Kraljevic ([19] et [20]) a determine explicitement tous les sous-quotients ir- 
reductibles unitarisables pour R pa . En particulier, il a donne une condition 
necessaire et sufRsante pour qu'un sous-quotient irreductible unitarisable soit 
une serie discrete et il a aussi montre que RP' a a les meme sous-quotients irre- 
ductibles (unitarisables ou pas) que R p '~ a . 

Fabec ([9]) a construit pour toute R p,a deux sous-espaces fermes invariants 
N2 C N\. Notamment il a demontre que 



Theoreme 6.9 Si a = ip + 2k, avec Zp + k ^ 1 et k ^ 1 (ici k € Z), alors 
R p ' a est unitarisable sur De plus en notant ce sous-quotient unitaire encore 
RP' a , on a 

oil 

et 



T m - = <J 3m <g> T+ = T 3m ,+ 

Vm eZ/3 

Remarque. Dans Particle de Fabec ([9]), il y a une erreur sur un indice de 
somme dans le theoreme concerne (voir le theoreme 6.3 de [9]), et le theoreme 
precedent est la version corrigee. 



Or d'apres Kraljevic (voir le theoreme 6, la proposition 2 et (iv) de la proposi- 
tion 3 dans [20]), lorsque 3p+k > 1 et k > 1 (k € Z ), on peut montrer que R p ' a a 
un seul sous-quotient unitarisable irreductible (et il correspond a n 7ri i i(r)" avec 
"j(p, a) = l,j(p,—a) = 2" dans [19]). Done on en deduit qu'il est exactement 
celui dans le theoreme precedent. D'autre part, en appliquant le theoreme 6 de 
[19], on peut montrer qu'il correspond a une serie discrete ni holomorphe ni 
anti-holomorphe. Plus precisement, le parametre de Harish-Chandra associe A 
verifie que \{H\2) = a , X(Hi^) = 3p + k et X^H^) = k. Done en appliquant le 
theoreme precedent de Fabec, on peut decomposer explicitement toutes 
ces series discretes ni holomorphes ni anti-holomorphes dont le para- 
metre de Harish-Chandra A verifie A(i/i 3 ) > 1 et \{Hj,2) > 1- Du coup il 
reste a decomposer les series discretes ni holomorphes ni anti-holomorphes tt\\b 
avec X(Hi 3 ) = 1 ou X(H 32 ) = F 

Maintenant, on considere R~ z—' -1 avec k € Z et k ^ et k =^ — 1. D'apres 
([19]), on sait que R~^~ ■~ 1 a les meme sous-quotients irreductibles que R~ ~ < 1 . 
Or on peut deduire de ([19]) que R^~' x a trois sous-quotients irreductibles 
unitarisables. Plus precisement, si k > 1, alors il s'agit de la serie discrete 
holomorphe dont le parametre de Harish-Chandra associe A verifie que A(Hi2) = 
k ,A(7?3i) = 1, de la serie discrete ni holomorphe ni anti-holomorphe dont le 
parametre de Harish-Chandra associe Xk verifie que Xk{H r2 ) = k + 1, Xk(Hi 3 ) = 
1 et d'une representation unitaire irreductible qui n'est pas une serie discrete. Et 
si /c < — 2, alors il s'agit de la serie discrete anti-holomorphe dont le parametre 
de Harish-Chandra associe A verifie que X(Hi2) = —1 — k, A(i?23) = 1, de la serie 
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discrete ni holomorphe ni anti-holomorphe dont le parametre de Harish-Chandra 
associe Afc verifie que \k{Hi2) = —k, ^k{H^,2) = 1 et d'une representation 
unitaire irreductible qui n'est pas une serie discrete. Ainsi il est clair que chaque 
serie discrete ni holomorphe ni anti-holomorphe dont le parametre de Harish- 
Chandra associe A verifie que A(i?i3) = 1 ou \(H?,2) = 1 figure comme un 
sous-quotient irreductible dans une (et une seule) R - ^' 1 (done dans une et 
une seule i?^'- 1 ). Or d'apres le theoreme 6.5 de [9], on sait que R a ' 1 est 
unitarisable sur N 2 , et, notant encore R~ le sous-quotient N 2 , on a 



si k > 1, 
et si k < —2, 



R- 



2fc + l n 



B 



Done on peut deduire de la proposition 6.4, du theoreme 6.8 et de la section 
6.5 que le sous-quotient unitaire sur N 2 est la representation unitaire irreductible 
qui n'est pas une serie discrete. D'autre part, d'apres le theoreme 6.6 de [9], 
R~ 3^' _1 est unitarisable sur Ni/N 2 , et 

si k > 1, on a 

+00 k— 1 +00 

^.-'| B ^ T (^H-0^ r (^-n), + £ r (^-n),+ 

si k < —2, on a 

-t-oc — fc — 2 +00 

Done la proposition 6.4 nous permet de deduire que le sous-quotient unitari- 
sable de R~ ~ ,_1 sur Ni/N 2 contient forcement la serie discrete ni holomorphe 
ni anti-holomorphe de parametre Afc. Or d'apres le theoreme 6.8 et la section 6.5, 
on sait que si k > 1, alors la serie discrete ni holomorphe ni anti-holomorphe de 
parametre A& ne contient pas le terme "t'-t - et si k < — 2, elle ne contient 
pas le terme "r^ - ~ Done on en deduit que le sous-quotient unitarisable 
N 1 /N 2 de R^-'- 1 est la somme de la serie discrete ni holomorphe ni anti- 
holomorphe et de la serie discrete holomorphe (ou anti-holomorphe). Done en 
appliquant encore une fois la proposition 6.3, on peut decomposer explicitement 
dans cette situation tt\\b- On arrive done a decomposer explicitement tt\\b, 
pour toutes les series discrete ni holomorphes ni anti-holomorphes (de G). On 
resume tout ceci comme un theoreme : 

Theoreme 6.10 Pour Tt\ ni holomorphe ni anti-holomorphe avec \{H\ 2 ) = 
n\ G N + et X(Hi^) — n 2 £ N + (n\ > n 2 ), on a que 

+00 +00 

K\\b — E T[3 m+ 2m-n 2 ],+ © E T[-(3m+ni+n 2 )],- 
m— m— 

c' est- a- dire 
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+00 +oo 

K\\ B = T [3m+ 3/oW 2 - / ° (Z) ],+ J2 T [ _( 3m+ aigHMl )]| _- 
m=0 m— 

Done on en deduit aussi une nouvelle fois le resultat que Von a obtenu dans la 
section 6.5 : 

TTAk =(+^)T+0( + ^)T_. 

6.7 Confirmation des assertions (i) et (ii) de la conjecture 
de Duflo pour G = SU(2, 1) 

Jusqu'a present, on a confirme les assertions (i) et (ii) de la conjecture de Du- 
flo pour (G, it\,Bi) pour toutes les series discretes tt\, et pour (G,7r,\,-B), pour 
tt\ holomorphe ou anti-holomorphe. Maintenant, le theoreme 6.9 nous permet 
de les confirmer pour (G, tt\,B), pour n\ ni holomorphe ni anti-holomorphe. 

Soit nx ni holomorphe ni anti-holomorphe avec \{Hi2) G N + et A(ifi3) G N + 
(X(Hi2) > A(i?i3)). Comme dans le chapitre 5, 7Tx = G.fo est son orbite 
coadjointe associee dans g* avec /o = —A. Done comme dans la section 6.2, on 
peut obtenir que 

{(k.f ,E 2 )\ k G K} = {(k.f ,H) + (f ,Z)\ k G K} 

= {*!.</„, fl) + (/o, S)| - 1 < *1 < 1} = [/ (2) - f (H), f (H) + f (Z)]. 

Puisque \fo(H)\ > |/g(Z)|, d'apres la formule (**) de la section 5.4 et ce qui 
la precede, on deduit que 

p(G./ ) n b} r = ( y fir,-)U( U 

r< -(3/q(H) + /q(Z)) ~^ 3/q(H)-/q(Z) 

— 6 — 6 

Done on en deduit que l'ensemble des B-orbites coadjointes fortement regu- 
lieres et admissibles de b* qui sont contenues dans p(C 7rA ) est 

{n rN ^ : N G N} \J{Sli N ,+ : N G N} 

ou rAr = _( 3/o(H)+/ (z) + _ l ; et 1n = 3MH)- f0 (z) +N + 1. On l'ecrit 
comme une proposition. Voici 

Proposition 6.11 Soit tt\ ni holomorphe ni anti-holomorphe avec \{H\2) G 
N + et A(i?i3) € N + (\{Hi2) > X(Hi3)), et O nx son orbite coadjointe asso- 
ciee dans g* . Alors l'ensemble des B-orbites coadjointes fortement regulieres et 
admissibles de b* qui sont contenues dans est 

{O rjv ,_ :7VeN}|J{0 /jv , + :iVeN} 

oil rN = _( 3/o(g?+/o(Z) + N ) _ 1 ; et ^ = 3/ (g)-/o(Z) + f + 1. 
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Puisque pour m £ Z, T m _± correspond a Q^m^i-j + , les theoremes 5.5 et 6.10 
et la proposition 6.11 nous permettent de confirmer les assertions (i) et (ii) de la 
conjecture de Duflo pour (G, n\,B), pour tt\ ni holomorphe ni anti-holomorphe. 

Done les assertions (i) et (ii) de la conjecture de Duflo sont confirmees pour 
(G, tt\, Bi) et (G, tt\, B) pour toutes les series discretes ir\ de G = SU(2, 1). 

Remarque. Comme on a vu pour les series discretes holomorphes, pour les 
series discretes ni holomorphes ni holomorphes, il n'y a qu'egalement un tiers 
des .B-orbites coadjointes fortement regulieres et admissibles dans la projection 
p(0 7rA ) qui interviennent dans la decomposition O 

6.8 Consequences sur (-D^)°° 

Dans le theoreme 6.8, on a vu que pour nx ni holomorphe ni anti-holomorphe 
avec f (H) e N+, f (H) + f {Z) G 2N+ et \f (H)\ > \fo(Z)\, on a que 

+ 00 

n\\ B = dim((D^) x ).T [3m _(3 Mm + M z) 1] + @ 

m=0 

+ OO 

2J dim((£)+ )°°).T [ (3m , /o(z)-3/o(") )]; ■ 
m=0 

Done d'apres le theoreme 6.10, on deduit que 

Proposition 6.12 Pour les systemes differentiels et les sous-espace (D^)°° 
definis dans la section 5.4, on a 

dim^D^) 00 ) =0, si O^m^ f (H) - 1 

et 

dim((D±)°°) = 1, si f (H). 
Ce resultat semblerait difhcilement s'obtenir par des methodes "directes". 
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7 Comparaison entre la construction de Duflo et 
celle d'Auslander-Kostant pour la conjecture 

Dans cette section, on va interpreter la conjecture dans le cadre d'Auslander- 
Kostant pour les groupes resolubles algebriques. 

D'abord on fait quelques rappels concernant la theorie d'Auslander-Kostant 

La theorie d'Auslander-Kostant : 

Soit G un groupe reel resoluble algebrique tel que [G, G] C G u d'algebre de 
Lie g, ici G u est le radical unipotent de G. Soit g G g* une forme lineaire. On dit 
que g est entiere, s'il existe un caractere unitaire Xg de G(g)o de differentielle 
ig\ s ( g ), ou G(g) c G est le stabilisateur de g par rapport a Taction coadjointe de 
G dans g*, g(g) est l'algebre de Lie de G(g) et G(g)o est la composante neutre 
de G(g). On note g* nt l'ensemble des formes lineaires entieres. Si g G 0* nt , on 
note Y(g) l'ensemble des representations unitaires irreductibles de G{g) dont la 
restriction a G(<?)o est un multiple de \ g . 

Soient I une polarisation en g G g* et a un ideal de g, on dit que I est admis- 
sible pour a si I (~1 oc est une polarisation en a = g\ a . 

Theoreme 7.1 Soit g £ Q* , alors il existe une polarisation positive I en g veri- 
fiant la condition de Pukanszky, qui soit g u -admissible ( ici g u est le radical uni- 
potent de q), telle que I soit G(g) -invariante et que lP\Q u soit G(g\ & u )-invariante. 

Soit g £ g* et soit [ une polarisation positive en g verifiant les conditions du 
theoreme precedent. On defmit alors la forme lineaire 9 € g(g)* par 

0{X) = ilmtr(adX| t ) , X G g(.g) 

II s'avere que 8 est independant du choix de I. 
Soit g G g* une forme lineaire telle que 

(*) <?Ib" = 9\b u - 

(«) 9\ 3 (g) =9\ B (g)- 6 - 

Une telle forme lineaire existe, car g etant resoluble, on a (g(g)) u = g u (s), 
tandis que 0\ g *( g ) = 0. Alors l'orbite O = G.g de g ne depend que de l'orbite 

O = G.g de g et l'application O i — > O induit une bijection de go n t/G sur g* d /G, 
ou g* d est l'ensemble des formes lineaires admissibles (dans le sens de Duflo). 
Rappelons que Ton a deja defini ce qu'est une forme lineaire admissible (au sens 
de Duflo) dans le chapitre 2. 

Soit g G g* nt et g G g* d comme ci-dessus, alors on a G(g) = G(g). De 
plus il existe un caractere \6 de G(g) s de differentielle id. Alors l'application 
t i — > t = Xq 1t induit une bijection de Y(g) sur X(g), ou X(g) est ce que l'on 
a defmit dans le chapitre 2. 

Si g G g* nt et r G Y(g), Auslander-Kostant lui font correspondre une repre- 
sentation TTg. T G G. 

Si g G g* d et t g 1(g), Duflo lui associe une representation T 9:T G G (ce que 
l'on a explique dans le chapitre 2). 

Alors on a le theoreme suivant : 
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Theoreme 7.2 Pour tout g <G g* ent et tout r <G Y(g), on a 

n g,r — Tg^r 

Maintenant on revient sur G = SU(2, 1), et on garde les notations dans les 
chapitres precedents qui concernent G. On va appliquer la theorie d'Auslander- 
Kostant a B = MAN et B x = AN. 

D'abord pour Bi, on a vu qu'il y a deux Bi-orbites coadjointes fortement 
regulieres (dans bi*) fi ± qui sont egalement admissibles et ouvertes. Done il est 
evident que C faiad- Comme les stabilisateurs concernes sont triviaux, on 
deduit des paragraphes precedents que V/ <G fl^, on a f e bi* nt et f = f. De 
plus Y(f) = X(f) = {t} et Kf, T = Tf, T = T±. 

Maintenant, on traite B, on a vu que les i?-orbites coadjointes fortement 
regulieres (dans b*) sont les O r ,± = B.(rW* ± i?^), et fl Tt ± est admissible <J4> 
r+| = Z/3. Soit / TO)± = (f ±\)W*±E^ e b*. On peut verifier directement que 
[ ± = CWS)C(Ei+±iE[)Q)CE2 est une polarisation positive en f m ,± qui verifie le 
theoreme precedent. Puisque tr(adW / |[ ± ) = oulfem est ce que Ton a defini 
dans le chapitre 3, on deduit que g^± = f m .±, avec g m ,± = f H'* ±£ 2 ' £ b*. 
Comme il y a un seul element dans X(f m> ±), il y en a seul aussi dans Y(g mi ±), 
et on note n gm ± la seule representation unitaire irreductible associee a g m .± au 
sens d'Auslander-Kostant. Alors on a w gm ± = T rn ,±. 

Maintenant, on part du parametre de Blattner A. On a vu que si le parametre 
de Harish-Chandra A correspond a une serie discrete holomorphe, alors A = 
A + a3i. On peut aussi verifier facilement que si A correspond a une serie discrete 
ni holomorphe ni anti-holomorphe, alors A = A. 

On suppose d'abord que A correspond a une serie discrete holomorphe ir\ tel 
que \{H l2 ) =iii£N + et \(H 31 ) = n 3 e N+. Notons l'orbite C A = G./ A avec 
/a = — iA e t* C g*. On verifie facilement que f\(Hi2) = ni — 1, fA(H 3 i) = 
n 3 +2, f A (H) = m-1 et f A (Z) = -(m+2n 3 +3). Done on a f A (Z)+f A (H) < 0. 
Done d'apres la section 6.2, on deduit que 

p(o a ) = |J a,-. 

ia^i + i< r < 3 "i+"3 

Puisque 7r ffm ± = T m .±, la proposition 6.4 nous permet de conclure que 
toute sous-representation irreductible unitaire dans la decomposition 
de tt\\b correspond a une (et une seule) _B-orbite coadjointe fortement 
reguliere et entiere (au sens d'Auslander-Kostant) qui est contenue 
dans C>a = G.f A . 

Remarque. (1) Ceci n'est pas vrai pour (D\ = G.f\ avec f\ = si Ton 

utilise la theorie d'Auslander-Kostant pour B. D'autre part, Ceci n'est pas vrai 
non plus pour O a = G.f A si Ton utilise la theorie de Duflo pour B. 

(2) Le nombre des orbites entieres (au sens d'Auslander-Kostant) dans p(0a) 
est plus petit que le nombre des orbites admissibles (au sens de Duflo) dans 
p(Oa). 

Pour les series discretes anti-holomorphes, on a les resultats analogues. 
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Maintenant, on considere le cas les series discretes ni holomorphes ni anti- 
holomorphes. Done supposons \{Hi2) = n\ et X(Hi^) = avec n\ > 7i2- 
Puisque dans ce cas A = A, on a Oa = 0\. D'autre part, on a vu dans la section 
6.7 que 

p(G./o)n^ r = ( □ fir,-)U( U "'■+)■ 

r< ~"i-"2 r> 2 "Y" 2 

Done le theoreme 6.10 permet de conclure : Toute sous-representation ir- 
reductible unitaire dans la decomposition de tt\\b correspond a une (et 
une seule) B-orbite coadjointe fortement reguliere et entiere (au sens 
d'Auslander-Kostant) qui est contenue dans la projection de 0\ = 0\. 
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8 Etude de varietes reduites et formule pour la 

multiplicity 

Si G est un groupe de Lie reductif connexe, K C G est un sous-groupe com- 
pact maximal, alors on a la celebre formule de Blattner qui est une identite 
combinatoire. Un probleme interessant est : Est-ce que Ton peut exprimer les 
multiplicites a l'aide de formules qui ne soient "visiblement " pas combinatoires ? 
La reponse est : Du moins, si H C G est un sous-groupe compact (G est tou- 
jours suppose reductif), oui. En fait dans ce cas, Paradan [[24], [25]) a reussi a 
obtenir une telle formule dans le cadre de la geometrie des orbites coadjointes. 
Surtout il a reinterprete la formule de Blattner sous forme non combinatoire. 
Parmi les objets principaux qu'il a utilises figurent les varietes reduites liees a 
des varietes symplectiques d'orbites coadjointes. Mais si H C G n'est pas un 
sous-groupe compact, les choses deviennent compliquees. Car il n'y a pas encore 
une bonne theorie generale pour les groupes de Lie non compacts agissant sur 
les varietes symplectiques. Cependant, l'objectif de cette section est d'illustrer 
cette "philosophic" a travers le groupe G = SU(2, 1) et ses sous-groupes non 
compacts B\ et B. 

Done dans la suite de cette section, sauf indication contraire, on garde toutes 
les notations concernant G = SU(2, 1) introduites dans les chapitres et sections 
precedents. 

8.1 Etude des varietes reduites 

Soit fo <E t* C g* une forme fortement reguliere et Of := G./o sa G-orbite 
coadjointe. Muni de la structure symplectique de Kirillov-Kostant-Souriau zu, 
(O f , w) = G/T est une variete symplectique, ou T est le tore maximal d'algebre 
de Lie t (t est defini dans le chapitre 3). B\ (resp. B) agit dans Of par Taction 
coadjointe, de sorte que (O/ , w, Si,p 1 ) (resp. (O/ , w, B, p)) devient un espace 
hamiltonien, ou l'application moment associee est la projection p x (resp. p). On 
a vu que les -Bi-orbites (resp. £>-orbites) fortement regulieres dans (resp. 
b*) sont 17 ± (resp. Q r: ±). Dans cette section, on va etudier la variete reduite 
p^ 1 (il ± )/_Bi que Ton note X± (resp. p _1 (fi r .±)/B que l'on note X r _±). 

Proposition 8.1 Soit fo £ i* C g* une forme fortement reguliere, et Of := 
G./o- Alors 

(1) Soit f2 C p 1 (Of ). Alors : Si fo est dans le cone holomorphe, la variete 
reduite X± est diffeomorphe a la sphere compacte de dimension 2. Sinon, X± 
est une variete non compacte de dimension 2. 

(2) Soit VL Tt ± C p(Of ). Alors, la variete reduite X r> ± est reduite a un point. 

Demonstration. Remarquons d'abord que, si b est un element quelconque de 
Sl± (resp. n r) ±), on a X± = p^ 1 (b)/ B^b) (resp. X r>± = p- l {b)/B. 

Soit S = K.fo qui est l'orbite co-adjointe de /o dans fi*, diffeomorphe a la 
sphere de dimension 2. Tout d'abord on montre que Pi{S) est une sous- variete 
compacte de et que p\ induit un diffeomorphisme de S sur pi(S) : cela resulte 
de ce qui est dit dans la section 5.3 et de la formule pi(x\H + X2F + X3V) — 
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x\E2+X2El+xzE' 1 * (remarquons que Ton peut donner une autre demonstration 
de ce fait moms calculatoire et qui se generalise, reposant sur le fait que le noyau 
de l'application lineaire p\ est, modulo identification de q* avec q au moyen de 
la forme de Killing, m® 0(n)). 

Soit f± e S tel que b 1± := pi(f±) G fi ± et S± := Stlp^ 1 ^). Mors 
X± = p 1 " 1 (6i±) (car dans ce cas, le stabilisateur de b\± dans b* est trivial). 
L'application x t— > x.bi± est un diffeomorphisme M-equivariant de B\ sur 
dont on designe par a± l'inverse. On pose S± = a± opi(S±). 

Alors 

1 S± est une sous-variete M-invariante de i?i diffeomorphe via a± & S±. 

2 S± — S si et seulement si p\(Of ) C S^. Dans ce cas S T = 0. Sinon, S± 
est une sous-variete ouverte non-compacte de la sphere S, qui est une calotte 
spherique. 

3 Soit A± = {(<7, a±(g))\g € S±}. Alors l'application g h-> (g,cr±(g)) (resp. 
(g,cr±(g)) i— > cr-|- (g) — 1 - £?) est un diffeomorphisme M-equivariant de 5± sur A± 
(resp. de A± sur 

4 Un systeme de representants des M-orbites dans 5 (resp. S±) est {/e = 
exp-fy./ o |0 e [0,tt]} (resp. {/ e = exp-|V./ |fl € [0,tt] et ± (/„(#) cos0 + 
/o(^)) > 0}). 

5 On pose e(/ ) = et f± = Mfo)h- Alors /± £ 5 si et 
seulement si pi(O/ ) n fi ± 7^ 0. 

6 Le calcul montre que p{f e ) = - %(f (Z)-3f (H) cos 6)W* + (f (H) cos d + 
f (Z))E2+(fo(H) sin 0) El. D'apres la section 5.2, il en resulte que (a±(gg)~ 1 .gg, W) = 

4>{cos0) ou 4> est la fonction homographique (j>{t) = ^(2f (Z) — S ^f^H)t+fo(z) )• 
II est alors clair que les varietes reduites pour B sont des points. 
D'ou les resultats. 

□ 

Remarque. II est possible que l'image reciproque p~ 1 (rW* ± E%) est reduite 
a un point elle-meme, par exemple lorsque rW* ± E% est dans la meme orbite 
que p(/ ). 



8.2 Multiplicite et varietes reduites 

On a vu que pour toutes les series discretes (holomorphes ou pas) tt\, on 
& ~k\\b est inadmissible et toute sous- representation irreductible (de B) qui 
intervient est de multiplicite 1. Pourtant, il n'y a que exactement un tiers des 
_B-or bites fortement regulieres et admissibles dans la projection p(C 7rA ) qui in- 
terviennent dans la decomposition de tt\\b- En fait on a le resultat suivant (on 
rappelle que les groupes G et B ont le meme centre, Zq) : 

Proposition 8.2 Soit tt\ une serie discrete de G = SU{2, 1) avec A € t* et soit 
f = —iX. Supposons que la B-orbite fortement reguliere et admissible flm±i^± 
soit contenue dans p(G.f). Alors les assertions suivantes sont equivalentes : 

(i) la serie discrete T m ^± de B intervient dans tt\\b, 

(ii) les series discretes ir\ et T m ± ont meme caractere central, 

(iii) m- 3f W+ f W €3Z 

Demonstration. C'est une consequence facile de l'assertion (4) remarque 1 du 
chapitre 4 et du corollaire 6.2 qui decrivent le caractere central des series dis- 
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cretes de G et de B, ainsi que de la proposition 6.4 et du theoreme 6.10. □ 

Dans la suite on va donner une interpretation de ce phenomene dans le cadre 
de la quantification Spin c . Cette interpretation s'inspire des travaux de Paradan 
(theoreme 2.16 dans [26]) pour les groupes de Lie compacts agissant dans les 
varietes symplectiques (non compactes) avec l'application moment propre. Ce 
qui est nouveau dans notre cas est que le groupe B n'est pas compact. De plus 
pour toute serie discrete (holomorphe ou pas), le resultat s'applique, meme si 
l'application moment (la projection) n'est pas forcement propre (e.g. pour les 
series discretes ni holomorphes ni anti-holomorphes) . 

Avant d'aller plus loin, nous devons expliquer quel est le fibre associe a une 
orbite de type compact fortement reguliere et admissible dans le cadre de la 
quantification Spin c . Soit G un groupe presque algebrique d'algebre de Lie q 
et / € 0* une forme de type compact fortement reguliere et admissible. Nous 
supposons que G et G(f) sont connexes. Comme Ad G(f) est un tore compact, 
il existe un lagrangien complexe I et positif dans jjc qui soit G(/)-invariant. Par 
suite, d'apres le lemme 2.1, il existe un caractere \f de G(f) de differentielle 
Pi + */lg(/)- II s'avere d'une part que ce caractere ne depend pas du choix du 
lagrangien positif I et d'autre part que si \i designe le caractere de G(g) 3 de 
differentielle pi, on a X(f) = {x ; _1 X/}- On definit alors le fibre associe a l'orbite 
comme le fibre en droites C = G ><g(/) ^xf 

Donnons deux exemples qui nous interessent. Soit ir\ une serie discrete de 
G = SU (2, 1) avec A <G t* et soit / = — iX de sorte que O nx = G.f. Dans ce cas, 
le fibre C de base est defini par le caractere Xf de T = G(f) de differentielle 
le parametre de Blattner A = A + p — 2px, ou p (resp. px ) est la demi-somme 
de l'ensemble des racines positives (resp. positives compactes) defini par A. 

Considerons la serie discrete T m ± de B. associee a l'orbite Om_i_i + et soit 

h m ^± l'element de cette orbite tel que /i m ,± = (y ± \)W* ± et dont le 
stabilisateur est M. En utilisant la polarisation positive l± de la section 6.1, on 
voit que dans ce cas le fibre C de base ^lm±L ± est defini par le caractere Xh m ± 
dont la differentielle verifie dxh m ±(W) = i(y ± 1) ; par suite Xh m ± a meme 
restriction a Zq que le caractere a m de la section 6.1. 

Proposition 8.3 Soit ir\ une serie discrete de G = SU(2, 1) avec A £ t* et soit 
f = iX. Supposons que la B orbite fortement reguliere et admissible flm^i ± soit 
contenue dans p(G.f). Alors, la multiplicity de la serie discrete T mj ± de B dans 
tt\\b vaut 1 si les caracteres x\ e t Xh m ± ont meme restriction au sous- groupe 
M(/) et sinon. 

Demonstration. On verifie tout d'abord que M (/) est le centre Zq du groupe 
G. D'autre part, il resulte de l'assertion (4) remarque 1 du chapitre 4 et du 
corollaire 6.2 que le caractere central de it\ (resp. T m _±) est donne par x\\z G 
(resp. Xh m ,±\z a )- D 

Ce resultat est l'analogue du resultat demontre par Paradan dans ([26], sec- 
tion 2.4 "Quantization of points", Theorem 2.16), dans lequel il considere un 
groupe de Lie compact muni d'une action hamiltonienne sur une variete symplec- 
tique avec application moment propre et calcule la quantification de la variete 
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reduite lorsqu'elle est reduite a un point. En effet, d'apres la proposition 8.1, 
la variete reduite d'une orbite Qm^i ± contenue dans p(G.f) est reduite a un 
point. 

Par analogie avec le resultat de Paradan, nous dirons que la quantification 
Spin c Q S pin{Xm ± i ± ) de la variete reduite Xm_j_i ± vaut 1 si les caracteres xx 
et Xh m ± out meme restriction au sous-groupe M(f) et sinon (ce cas englobant 
celui ou la variete reduite est vide, i.e. l'orbite f2m ± i ± n'est pas contenue dans 
p(G.f)). 

Avec cette convention, on voit que l'assertion (iii) de la conjecture de Duflo 
est confirmee pour (G, ir\, B) pour toutes les series discretes. Puisque nous avons 
deja confirme les assertions (i) et (ii) de la conjecture de Duflo pour (G, n\, B) 
dans le chapitre 6, la conjecture de Duflo est confirmee pour (G,tt\,B) 
pour toutes les series discretes. 

Remarque. Le fait que toute variete reduite p" 1 (h„ l: ±)/M soit un point semble 
donner une explication geometrique au fait que la multiplicite d'une serie dis- 
crete de B qui intervient dans tt\ est au plus 1. 

D'apres le Theoreme 6.3 (de Rossi- Vergne) et le theoreme 6.10, on sait que 
ttaIbi est i?i-admissible si et seulement si 7r\ est holomorphe (ou antiholo- 
morphe). Supposons que ?r\ est holomorphe, alors d'apres la section 6.2, on 
a p 1 (C 7rA ) = Q~ . Done selon la proposition 8.1, la variete reduite p 1 " 1 (il~)/_Bi 
est une sous- variete de 1Tx diffeomorphe a la sphere compacte de dimension 2. 
La theorie nous dit que e'est une sous- variete symplectique de : on note /3 sa 
structure symplectique, qui provient par restriction de celle (Kirillov-Kostant- 
Souriau) de 0^ x . Puisque p 1 " 1 (J7 _ )/Bi est de dimension deux, alors la forme 
volume de Liouville pour f3 est 

Proposition 8.4 Soit tt\ une serie discrete holomorphe de G, avec le parametre 
de Harish- Chandra A. Soit /o = — iX G t* C Q* la forme lineaire associee (au 
sens de Duflo) de sorte que 0^ x = G./o- Alors 

"»l*-</ t _5F> T - 

Demonstration. D'apres le theoreme 6.3, il s'agit de montrer que 

ou H S est le meme que celui dans le theoreme 6.3. Dans la suite on va calculer 
J x 7^ par deux methodes differentes : La premiere methode procede par calcul 
direct, la deuxieme plus directe, utilise un argument de topologie differentielle. 

Methode 1 : Dans la demonstration de la proposition 8.1, on obtient un dif- 
feomorphisme de K.fo sur pf 1 (p 1 (/o)) ! on le note (f>. Or l'application a : 
(x 2 ,x 1 ,x[) i — ^ f (Z)Z* + f {H)(x 2 H* - xiF* - x[V*) induit un diffeomor- 
phisme de S 2 = {(x2, x\, x[) : x\ + x\ + xf = 1} sur K.fo. Par suite $ o a est 
un diffeomorphisme de S 2 sur p 1 " 1 (p 1 (/ )). Soit S 2 ' = {(x2 1 xi,x' 1 ) £ S 2 : x[ ^ 
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cm x\ > 0}. Done <3? o a(S 2 ') est un ouvert de pJ~ 1 (Pi(/o)) de complementaire 
negligeable pour toute densite sur p 1 " 1 (Pi(/o))- 

Sr.it Ta - MH) sinB , ., . . , 2t g _ ME} cos6l+/o(Z) . 

Z e 5 est ce que Ton a defini le chapitre 3. Pour (0,<p) G [0, it] x [0,27r], on 
pose x(6,ip) = expipW exptgS expxgE^ exp— G G et g(9,ip) = x(9,ip).f . 
Alors {g(9,ip) : (6,(p) G [0, 7r] x [0,27r]} = p 1 " 1 (Pi(/o)), de plus l'application 
(0, i— > est un diffeomorphisme de [0, n] x [0, 2ir] sur $oa{S 2 ). En fait, 

M stabilise p(/o) (dans b*), done agit dans p _1 (p(/o)); done aussi agit dans 
Pi ^PiC/o)) ( car & = R W ® bi et M = expKW). Soit x G B 1 et fc G AT, tel 
que p 1 (x./c./o) = Pi(/o)- Alors simgM on a m(x.k.fo) = msm _1 (mi./o)- 
On peut done supposer que k.f fait partie d'un ensemble de representants 
des M-orbites dans K.Jq., i.e. on peut supposer que fc./o = fe = fo{Z)Z* + 
fo(H)(cos6H* - sm9F*) = exp(-f)V./ avec 9 G [0,tt], ici F,7 6 1 sont 
dermis dans la section 5.3. Dans ce cas, on peut verifier directement (par les 
informations d'apres la proposition 5.2 de la section 5.2) que p^x.fg) = Px(/o) 
si et seulement si x = exptgS. expexp xgE[. 

Soit /? la forme symplectique sur <!> o a(S 2 ). Nous allons calculer g*(/3$). 
Tout d'abord, on a 

g = x(9, <p)[- l -V + ^Ad(exp 6 -V).E[ + ^Ad(exp ^exp -x e E[).S].f 
^=x(9,ip)Ad(exp^Vexp-x s E[).W.f . 

Posons 

U(9, <p) = ~V + ^Ad(exp e -V).E[ + ^Ad(cxp °-V exp -a^.S, 



Z(0,y>) = Ad(exp-T/cxp-a; e £;;).^. 

Alors on a 

ff *(/3) = /o([£(0,^),tf(0,^)])^Ad0. 

Or par des calculs directs, on peut obtenir que 

f Q {[Z{9M,U{9^)]) = UWsmP MH) 2 -fo(Z? 



r K ' (f (Z) + f (H) cos 9) 2 ' 
On a done 

<?*(/?) = \h (H) sin9 fff ;/°[ H J 2 d9 A <kp. 
2 {jo(Z) + Jo{H)cos0y 

II vient done 

-^ = T, I i,. [x] o,/ o(i/)Sm0 (/o(Z) + / oW cos0) 2 ^ 



1 , /" 27r , r ,. . „ sin6» 



/ (/o(^) 2 - h{HY)f Q {H) — d9 

4tt J J (fo{Z) + fo{H) cos 9y 
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\{UZf f (Hf)[ 



2 vuv / ,m , n lfo{z)l _ lfo{H)l \f o{ z)\ + \f (H)\> 
=| /0(F) |= f (H), 

d'ou le resultat cherche. 

Methode 2 : Notons T : G — >• 0^ x le fibre principal (avec la fibre G(/o)). 
Ici, il existe un unique caractere x/ de G(/o) de differentille */o|g(/ )- Soit C = 
G x g(/ ) Qk/o le fibre en droite de Kirillov-Kostant-Souriau correspondant. Pour 
simplifier on note Xj := P]~ 1 (Pi(/o))- H est clair que le fibre £x f restriction 
de £ a Xf est r _1 (Xf ) Xc(f ) ^Xf • Done via le diffeomorphisme $ : A'./o — ► 
Xf , £x fo induit un fibre $*(£x fo ) de base K.fo C 0^ x . On peut verifier 
directement que <&*{Cx s ) est exactement la restriction de C a K.fo, C-K.fa '■= 

r- 1 (^/o)x G(/o) c^. o . ° 

Soit V la connexion de Kirillov-Kostant-Souriau pour C. Soient Vjf./o et 
Vx io les connexions induites pour Ckj et Cx So respectivement. Les formes 
courbures correspondantes sont (3\K.f et (3\x fa - D'autre part, <j>*(Vx /o ) est une 
connexion sur le fibre $*(£x /o ) = £>K.f a dont la forme courbure est ^*(f3x f )• 
Puisque les connexions $*(Vx /o ) et Vk./ proviennent du meme fibre, il est 
connu que les formes courbures correspondantes <&*(/3x f ) et Px.f sont dans 
la meme classe de cohomologie de de Rham (pour ceci, on peut consulter par 
exemple le livre classique de Kobayashi et Nomizu intitule "Foundations of Dif- 
ferential Geometry ") . Done on deduit que 

(3 f &{PxJ f (3 K . h 



X- 27r J K.f 27r J K.fo 27r 

La mesure de densite definie par la forme volume apparaissant dans la der- 
niere integrale est proportionnelle a la mesure invariante canonique sur la sphere 
(ici on considere naturellement K.fo comme une sphere de rayon 1). Pour calcu- 
ler la constante de proportionalite, il sufht de calculer la valeur de la deux-forme 
sur deux vecteurs tangents independants en un point. On peut obtenir directe- 
ment que la constante concernee est ^° ^ . Done J K ^ ^^'J = fa(H), d'ou le 
resultat. □ 

Done dans ce cas l'assertion (iii) de la conjecture de Dufio est confirmee 
pour (G, tt\,Bi), et on peut confirmer de la meme maniere l'assertion (iii) de 
la conjecture de Duflo pour (G, 7T^,5x) pour ir\ anti-holomorphe . Done en 
combinant les resultats que Ton a obtenus dans le chapitre 5, la conjecture de 
Duflo est confirmee pour (G, iz\,B{) pour toutes les series discretes. 
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9 Appendice 



9.1 Sur la projection des orbites coadjointes fortement re- 
gulieres d'une algebre de Lie simple. 

Le resultat suivant et sa demonstration nous ont ete communiques par Michel 
Duflo. 

Rappelons que, si g est une algebre de Lie semi-simple, la forme de Killing 
induit un isomorphisme de g-modules de g* sur g. Nous dirons alors qu'une 
forme lineaire sur g est semi-simple si, sous cet isomorphisme, elle correspond a 
un element semi-simple de l'algebre de Lie g. 

Theoreme 9.1 Soit g une algebre de Lie simple surC, f) C g une sous-algebre 
de Lie propre et p : g* — > f)* la projection naturelle. Soit VL C g* Vorbite sous 
faction naturelle du groupe adjoint de g d'un element «semi-simple» regulier. 
Alors p{£l) contient un ouvert de Zariski non vide de t)*. 

Demonstration. Pour demontrer le theoreme, on s'appuie sur le lemme sui- 
vant 

Lemme 9.2 SoitQ une algebre de Lie algebrique, G un groupe algebrique connexe 
d'algebre de Lie g, f) C g une sous-algebre de Lie et p : g* — > f)* la projection 
naturelle. Soit Q une G-orbite dans g*. Alors les assertions suivantes sont equi- 
valentes : 

(i) p{Q) contient un ouvert de Zariski non vide de f)*. 

(ii) II existe g € fl tel que g(g) PI f) = {0}. 

(Hi) II existe g € Q tel que son orbite sous I 'action du sous-groupe analytique 
de G d'algebre de Lie \) soit de dimension egale a celle de f). 

Demonstration. Les assertions (ii) et (hi) sont clairement equivalentes. L'as- 
sertion (i) s'ecrit quant a elle : il existe g € SI tel que p(T g (fl)) = f)*, ou T g (n) de- 
signe l'espace tangent en g a fi. Ceci s'ecrit aussi dimg.g— dim(g.gnf) ± ) = dim f), 
soit encore dim(g.g n f) ) = dimg — dimg(g) — dimf). Considerant l'orthogo- 
nal de g.g fl f)^, on voit que cette derniere relation equivaut a dim(g(<7) + f)) = 
dimg(g) + dimfi. D'oii le lemme. □ 

Le resultat suivant est consequence immediate du lemme. 

Corollaire 9.3 Sous les hypotheses du theoreme, les assertions suivantes sont 
equivalentes : 

(i) L 'image par p de toute orbite coadjointe «semi-simple» reguliere de g* 
contient un ouvert de Zariski non vide de [)*. 

(ii) II existe une sous-algebre de Cartan t de g telle que tf~l f) = {0}. 

Demontrer le theoreme se ramene done a demontrer l'assertion (ii) du corol- 
laire. II suffit de le faire lorsque t) est une sous-algebre propre maximale de g, ce 
que Ton suppose desormais. Soit G le groupe adjoint de g. Alors le normalisateur 
H de f) dans G est un sous-groupe algebrique d'algebre de Lie t). Soit X = G/H 
qui est une variete algebrique irreductible isomorphe a la classe de G-conjugaison 
de f). Soit t une sous-algebre de Cartan de g et T le sous-groupe de Cartan de G 
correspondant. On fait agir T sur X et on etudie les sous-groupes d'isotropie de 
cette action. Si xH G X, le stabilisateur de xH dans T est T xH = Tfl xHx~ x 



(i<) 



et il a pour algebre de Lie t(xH) = tf] Adx(f)). D'apres Richardson ([27]), il 
existe un ouvert de Zariski non vide X 1 de X tel que les sous-groupes d'isotropie 
T(xH), xH € X' , soient deux a deux T-conjugues, done tous egaux entre eux. 
Soit x H e X' et a = tn Adx (t)) = Ada; (AdxQ 1 (t) n fl). Alors, on a a C i 
ou i = D X H£X' Adx(f)). Or i est un ideal propre de g : en effet si F € i, on a 
Adx~ 1 Y £ f) pour tout xH £ X' et done pour tout xH G A, par continuite, de 
sorte que i = n x j?ex Adx(fy) est bien un ideal de g, propre car contenu dans f). 
Comme g est simple, on a i = {0} et done Adxy 1 (t) n f) = {0}. D'ou le theoreme 
□ 

9.2 Sur le comportement asymptotique au voisinage d'un 
point singulier de premiere espece des solutions d'un 
systeme differentiel lineaire ordinaire. 

Les resultats de cet appendice concernant le comportement asymptotique au 
voisinage de des solutions systemes etudies dans la section 6.5 nous ont ete 
communique par Claude Sabbah. 

On considere un systeme differentiel de taille £ 

y(z) = y(z), (*) 

z 

oil M (z) est holomorphe en 0. On note Mo = M(0) et la partie semi-simple 
de M Q . 

Proposition 9.4 La solution fondamentale Y(z) du systeme (*) pent etre vnise 
sous la forme 

Y(z) = U(z)z Ao z N , 

ou Aq est diagonale et equivalente a M , N est strictement triangulaire infe- 
rieure, et U(z) est holomorphe inversible (c 'est- a- dire det[/(0) ^ 0). 

Remarque. Dans cette ecriture, il se peut que N ne commute pas a Ao lorsque 
certaines valeurs propres de Ao different d'un entier non nul. L'ordre de l'ecri- 
ture est done important. 

Demonstration. Si on pose Y(z) = P(z)Y(z) avec P holomorphe inversible, 
et si Y(z) est une matrice fondamentale de (*), alors Y(z) est une solution 
fondamentale du systeme analogue de matrice M(z) = PMP~ X + zP'P^ 1 . 

On effectue un premier changement de base constant P° de sorte que la 
nouvelle matrice P° Mq(P°)~ 1 , que je note encore Mq pour simplifier, soit sous 
forme de Jordan triangulaire inferieure. On choisit aussi P° de sorte que les 
parties entieres des elements diagonaux de la diagonale Ao soient ranges en 
ordre croissant. Je les note d\ < c?2 < • • • < dt. Pour simplifier, je note encore 
M(z) la matrice obtenue et je note D la matrice diagonale diag(di, . . . , dg). 
Enfin, je pose d — de — d\ > 0. La matrice D commute a Ao et Mq, et les 
valeurs propres de Mq — D ont une partie reelle dans [0, 1[, de sorte que la seule 
valeur propre entiere de ad(Mo — D) est 0. 
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Lemme 9.5 II existe un changement de base holomorphe inversible P 1 (z) tel 
que M = Mo + zB\ + • ■ ■ + z d Bd, oil les matrices constantes Bk satisfont a 
ad(D)(Bk) = kBk (en particulier sont strictement triangulaires inferieures) . 

On admet provisoirement ce lemme, et on ecrit M = z D Bz~ D , avec B = 
Mq + B\ + ■ ■ ■ + Bd- En effectuant le changement de variable (meromorphe) 
de matrice z~ D , on trouve done que z~ D P 1 P°Y est solution fondamentale du 
systeme de matrice B—D. Maintenant, B—D s'ecrit Ao— D+Mq +B\+- ■ -+Bd, 
ou Mq est la partie nilpotente de Mo, done strictement triangulaire inferieure 
et commute a Ao. Par consequent, il existe une matrice constante inversible 
P 2 triangulaire inferieure telle que P 2 (B - D)(P 2 )~ 1 = A - D + N, avec N 
strictement triangulaire inferieure commutant a Ao — D (mais peut-etre pas a 
A ). Ainsi, on a, en posant Y = P 2 Z - D P 1 P°Y : [Y' = A °~f +jv • Y] et done 
Y = z A °- D z N . Par suite, 



Y = (P 1 P°)- 1 z D (P 2 )- 1 z 
= [(P 1 P°)- 1 z D (P 



^- l z- D ]z A °z N , 



et on pose U(z) = (P 1 P )- 1 z D (P 2 ) 



La matrice T := (P 2 ) 1 est tri- 



angulaire inferieure. Par suite les entrees z di ~ dj tij de z D Tz~ D son nulles si 
i < j, et puisque la suite (dj) est croissante, la matrice z D Tz~ D est holomorphe 
inversible. Finalement, U(z) est holomorphe inversible, comme voulu. □ 

Corollaire 9.6 La dimension de I'espace des solutions de (*) qui sont locale- 
ment L 2 en z = pour la mesure dz/z sur la demi-droite reelle M + est egale au 
nombre de valeurs propres de M(0) ayant une partie reelle strictement positive. 

Demonstration. Une solution y de (*) est une combinaison lineaire a coeffi- 
cients constants des vecteurs colonnes de Y. Elle est de la forme U (z)y, ou y est 
la combinaison lineaire correspondante des vecteurs colonnes de Y. De plus, y est 
L si et seulement si y Test, puisque U(z) est inversible. Si Ao = diag(5i, . . . , 8i), 
les colonnes de Y sont de la forme 



/ 


z Si 

rij + i,jZ s i+ 1 log z 



nejz" 



(log z) 



(i-jV- J 



et on voit qu'une combinaison lineaire a coefficients constants non nuls de co- 
lonnes est L 2 si et seulement si chaque KeSj correspondant est > 0. □ 
Demonstration. [Demonstration du lemme] On cherche une matrice P 1 (z) = 
Id + zP\ + ■ ■ ■ et des matrices Bi comme dans le lemme, de sorte que Ton ait 



dP 1 
dz 



= (M +zBx + ■ ■ ■ + z d B d )P 1 (z) - P 1 {z){Mo + zMy + z 2 M 2 + •••)• (2) 
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On commence par considerer les equations pour j = 1, . . . , d. On ecrit 
.//'/ = M Q P} + Bj - PjM + >!' ,■:/','. . . . , P/_ x ; Bi, . . . , P,_i; M , M ) , 

ou ^ est connu par recurrence sur j, et on veut determiner Pj et Bj. On ecrit 
ceci sous la forme 

(jId-adM )(P/) = P i + % 

L'endomorphisme jld — adMo est inversible si j > d + 1 : en effet, les valeurs 
propres de adMo sont les differences des valeurs propres de Mo ; si une telle 
difference est egale a l'entier j, autrement dit si jld — adMo a une valeur propre 
nulle, la difference des parties entieres correspondantes est aussi egale a j, et 
done j < d. 

Puisque adMo commute a adZ3, on peut decomposer cette equation sur les 
sous-espaces propres de adD. De plus, puisque la seule valeur propre entiere de 
ad(Mo — D) est 0, l'endomorphisme ad(Afo — D) + kid est inversible pour tout 
entier k ^ 0. Sa restriction a chaque espace propre de adD satisfait a la meme 
propriete. 

Ceci etant rappele, on cherche done a resoudre, pour tout entier k, Pequation 

(jld - adM ) (P/ (fe) ) = Bf ] + , (3) 

ou designe la composante de la matrice Q sur I'espace propre de valeur 
propre k de adD, qui satisfait done ad£>(Q (fe )) = kQ^ . 

a. Si k j, on a Bj = et (jld — adMo) coincide sur cet espace propre 
avec l'endomorphisme (j — k)ld — ad(Mo — D) qui, on l'a vu ci-dessus, est 
inversible. On peut done trouver une solution (unique) a l'equation 

b. Si k = j, on doit resoudre sur cet espace propre l'equation a,d(D — 
Mo)(Pj ) — Bj = tyj en determinant Bj par la meme occasion. 
Choisissons un supplementaire de l'image de ad(D — Mo) dans cet espace 
propre. Alors on peut decomposer ^fj en somme d'un element de l'image 
de ad(D— Mo), ce qui donne P^^ (de maniere non unique) et d'un element 
dans ce supplementaire, qu'on baptise B^\ 

On continue maintenant la recurrence lorsque j > d + 1, tous les Bi etant 
connus. On procede exactement comme dans le cas ou j < d, mais il n'est 
plus necessaire d'introduire des termes correctifs Bj puisque jld — adMa est 
inversible, et on determine Pj comme dans le cas (jaj). 

Reste a montrer la convergence de la serie P 1 (z), ce qui est un resultat clas- 
sique, puisque le systeme (J5|) est a pole simple. □ 
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